小林党の一部は山名時氏に従い、上野国を出て西遷している。江戸時代に編まれた地誌「伯耆民談記」には、明徳の乱で討ち死にした小林修理亮のために妻が建立した「小林寺」が伯耆国久米郡にあったことが記されている。
「伯耆民談記」巻之第九の小林寺の項を紹介する。
一．小林寺 禅宗 久米郡小林寺村 倉吉大嶽院末山
今は寺なし。昔の寺跡村中にあり。当寺は古へ山名伊豆守時氏当国の守たる時、重臣小林修理亮、此地に居住す。然るに明徳の乱に京都に於て討ち死にしける故、其妻当寺を建立して菩提を祈●。雲少山小林寺と号す。開山は南海禅師なり。此人山名の一族にして、上州世良田の誕生なりとかや。其後戦国の世と成つて堂閣年々衰ろへ、遂に滅亡して星霜遥かに隔たり、寛永年中倉吉大嶽院可春和尚再興を企て、旧号を復して小林寺と号す。但し此地に大きなる梅の古木あり。是を以て山号を梅樹山と改めたり。年を経て後大難有て一宇尽く焼亡す。其後造補の事もなく、今は徒らに寺号のみを村名に存す。此村の山麓を穿てば蠣蛤などの殻出づる事はなはだし。上古此処入海なりしといへり。されば此の郷を灘の郷といへり。此類他所にもまま有ることなり。上州佐野の船橋の古跡、近辺●石根一円に蠣蛤の殻あり。此処も上古入海なりしと伝ふるなり。