Jauh di dalam hutan tropis, Yaiba Kurogane muda dengan tekun berlatih ilmu pedang bersama ayahnya, Kenjuurou, sama sekali tidak menyadari dunia modern. Namun, suatu hari, keduanya berakhir di dalam sebuah kontainer yang sedang menuju Jepang. Di sana, mereka bertemu dengan saingan lama Kenjuurou, Raizou Mine, dan putrinya, Sayaka. Karena tidak ada pilihan lain, Yaiba menyetujui kesepakatan dengan keluarga Mine: jika ia mengalahkan murid terkuat di dojo mereka, ia akan diterima untuk tinggal. Menggunakan keterampilan khas dan kekuatan luar biasanya, Yaiba mendapatkan tempatnya. Ingin melawan musuh yang lebih kuat, Yaiba mengikuti Sayaka ke sekolah—di mana ia dengan cepat kalah dari Takeshi Onimaru dan mengakuinya sebagai saingan barunya. Dengan Onimaru mewarisi pedang garis keturunannya dan memperoleh kekuatan iblis, Yaiba harus berlatih untuk menjadi lebih kuat dan mengalahkannya untuk selamanya.