El caballo Kiso ha habitado en Japón durante más de mil años y ya en el pasado resultaba una ayuda indispensable para el uso agrícola, de transporte y energía. El origen exacto de la raza Kiso y otras razas de caballos antiguos de Japón es aún incierto. Se cree que son descendientes de cualquiera de los caballos de la meseta del Asia Central o el caballo mongol de las praderas.
Japón ha utilizdo a los caballos con fines militares, así como en la agricultura y el transporte. En el siglo XII, el guerrero Yashinaka Kiso presuntamente tenía 10.000 soldados a caballo. Los registros de esa han sido una valiosa ayuda para los criadores de caballos Kiso modernos.
Dado que los caballos japoneses son generalmente de pequeño tamaño, las autoridades alentaron a los criadores a cruzar los Kiso con caballos más grandes provenientes de Occidente. Durante la Segunda Guerra Mundial el gobierno puso en marcha un programa de castración de los machos de raza pura Kiso. En consecuencia, casi todos los sementales Kiso fueron castrados. En el templo sagrado de Shinto se conservó un ejemplar sin castrar llamado Shinmei, y una yegua de raza Kiso también, llamada Kayama. De ellos nació Dai-san Haruyama en 1951, convirtiéndose en el último ejemplar de raza pura Kiso. La raza que tenemos hoy en día de Kiso proviene de los descendientes de Dai-san Haruyama.
El caballo Kiso tiene un temperamento muy similar a la raza Tarpan. Físicamente se les describe con una apariencia similar a la de los Przewalski o el caballo mongol.