西林寺是由應神末期來到日本的久多良學者和仁博士創建的，他入籍後，他的後裔河內文氏致力於發展文化。起源於金明天皇將其住宅的一部分用作寺廟。院內的巨石是五層塔的核心基礎，這在佛教考古學中也是罕見的，塔基重約 7,500 斤（28 噸），是飛鳥式中最大的塔基之一。 。