東大寺の建立に貢献した行基が自鋳と称される熊野三尊仏（弥陀・薬師・観音）を、当地の山中に埋めた。
その後、英然和尚と六名の山伏が延喜二年に当地に巡錫のおりこの三尊仏を見つけ、
山上より眺めて大和巡りに似ているというので、山あいのこの地にとどまり、時の司某氏に訴えて堂塔を建立し、一乗院高仙寺を別当とした。
境内には普門院・金光院・大蔵寺・歓喜院・金蓮坊・一明院・義本院等二十四ヶ寺をようし、宗教都市のようになった。
国家安穏を祈願して約数百年を経たが、覚俊僧都の代、応永年中、伊達氏と斯波氏の兵火により焼失。
山形城主最上義光公に訴え寺院を再興して約二百年後、天明六年に出火し消失。
その後、上山城主松平信享公の寄進で、寛政九年宥慶代に再建し、現存の建物である。