Kenyuu Densetsu Yaiba volgt de jonge samoerai Yaiba Kurogane terwijl hij door Japan reist en de rivaliserende Takeshi Onimaru en zijn bovennatuurlijke volgelingen bevecht in een poging de vrede in het land te herstellen.
De gameplay draait om platformen en gevechten van dichtbij. Yaiba hanteert zijn katana voor basisaanvallen, en door elementaire bollen te verzamelen worden tijdelijk projectielaanvallen en gebiedsaanvallen met extra kracht ontgrendeld.
De stages voeren je door uiteenlopende omgevingen zoals bossen, grotten en kastelen. Vooruitgang hangt af van nauwkeurige sprongen om gevaren te ontwijken en van het zuinig beheren van de gezondheidsbalk tijdens eindbaasgevechten die in meerdere fasen verlopen.
Als Game Gear-uitgave gebruikt Kenyuu Densetsu Yaiba het kleurenspectrum van het draagbare systeem om de uitstraling van het originele materiaal te benaderen, al kan snelle beweging soms schermscheuren veroorzaken.