Sinusundan ng Kenyuu Densetsu Yaiba ang batang samuray na si Yaiba Kurogane habang naglalakbay siya sa Japan, nakikipaglaban sa karibal niyang si Takeshi Onimaru at sa mga tagasunod nitong may kapangyarihang sobrenatural upang maibalik ang kapayapaan sa lupain.
Nakatuon ang gameplay nito sa platforming at labanan nang malapitan. Ginagamit ni Yaiba ang kanyang katana para sa mga pangunahing atake, at ang pangongolekta ng mga elemental orb ay pansamantalang nagbubukas ng mga putok na projeksiyon at mga atakeng pang-areaw na may dagdag na lakas.
Dumaan ang mga yugto sa iba’t ibang lugar tulad ng mga gubat, kuweba, at mga kastilyo. Nakasalalay ang pag-usad sa maingat na timing ng talon para malampasan ang mga panganib at sa pagtitipid ng health gauge sa mga laban kontra boss na tumatakbo sa maraming yugto.
Bilang paglabas sa Game Gear, ginagamit ng Kenyuu Densetsu Yaiba ang saklaw ng kulay ng handheld system upang umangkop sa hitsura ng orihinal na materyal, bagaman minsan ay puwedeng magdulot ng screen tearing ang mabilis na galaw.