Kenyuu Densetsu Yaiba mengikuti samurai muda Yaiba Kurogane ketika dia merentas Jepun, bertarung dengan pesaingnya Takeshi Onimaru dan pengikut ghaibnya dalam usaha mengembalikan kedamaian ke tanah air.
Permainan ini menumpukan pada platforming dan pertempuran jarak dekat. Yaiba menggunakan katana untuk serangan asas, dan mengumpul orb unsur sementara membuka serangan projektil serta serangan kawasan dengan kuasa tambahan.
Tahap-tahapnya bergerak melalui pelbagai latar seperti hutan, gua, dan istana. Kemajuan bergantung pada ketepatan masa lompatan untuk melepasi halangan dan pada penjimatan tolok kesihatan sepanjang pertarungan bos yang berlangsung dalam beberapa fasa.
Sebagai keluaran Game Gear, Kenyuu Densetsu Yaiba menggunakan julat warna sistem mudah alih ini untuk mengekalkan rupa bahan asal, walaupun pergerakan pantas kadangkala boleh menyebabkan tearing pada skrin.