Kenyuu Densetsu Yaiba begleitet den jungen Samurai Yaiba Kurogane auf seiner Reise durch Japan, in der er gegen den Rivalen Takeshi Onimaru und dessen übernatürliche Gefolgsleute kämpft, um dem Land wieder Frieden zu bringen.
Das Gameplay konzentriert sich auf Jump-’n’-Run-Abschnitte und Nahkämpfe. Yaiba setzt für seine Standardangriffe seine Katana ein, und das Sammeln elementarer Kugeln schaltet vorübergehend Projektilangriffe sowie Flächenangriffe mit zusätzlicher Kraft frei.
Die Level führen durch unterschiedliche Schauplätze wie Wälder, Höhlen und Burgen. Der Fortschritt hängt von genau getimten Sprüngen ab, um Gefahren zu überwinden, und davon, die Lebensanzeige über Bosskämpfe hinweg zu schonen, die sich in mehreren Phasen abspielen.
Als Game-Gear-Version nutzt Kenyuu Densetsu Yaiba die Farbdarstellung des Handhelds, um die Optik des Originalmaterials anzulehnen, auch wenn schnelle Bewegungen gelegentlich zu Screen Tearing führen können.