小林勘右衛門が京都の愛宕山に、細川幽斎の三男・幸隆を訪ねたのは戦国時代も終わりに近い天正年間のことと思われる。幸隆の小姓として仕え始めた縁で、明治維新まで細川家で禄を食むことになることを考えれば、小林党の支流である肥後小林家にとって、愛宕山は“開運の地”と呼んでいいかもしれない。
小林家の「先祖附」によると、愛宕山の宿坊の一つ、福寿院下坊の住職をしていた幸隆のもとへ、父の丹波に連れられた勘右衛門が目通りし、小姓として仕え始める。以後、幸隆に従って、関ヶ原の合戦の折には丹後田辺城の籠城戦に参加、細川家が豊前国に移ってから、細川忠興により、正式に家臣として召し抱えられた。
幸隆の菩提寺の記録「妙庵寺由緒」によると、幸隆の愛宕山入山は天正10年（1582年）で武将に還俗したのは天正19年（1591年）とあるので、勘右衛門の愛宕入りもこの間の出来事である。
愛宕山で幸隆の前に現れるまでの小林丹波、勘右衛門父子については、先祖附の表記に頼るしかない。それによると、「伯耆国の山名家が滅んだ時に、一族は討死したが、小林民部丞の玄孫にあたる小林丹波は、幼少だったため生き延び、丹波の笹山で暮らしていた」とされている。
山名氏は、山陰に覇を唱えた守護大名だったが、下克上に世に入り、戦国大名化に失敗し、一族はそれぞれの分国で衰退していった。
伯耆の山名家は、隣の出雲国の戦国大名・尼子氏の伯耆侵攻に遭い、大永４年（1524年）に滅亡。これにより国を追われて以降、暮らしていた丹波国でも、西に勢力を伸ばしてきた織田家との戦いが始まり、明智光秀によって天正７年（1579年）に、丹波は平定されている。
こうしてみると、小林丹波は伯耆と丹波で、かろうじて一族滅亡の危機を免れた可能性がある。戦国の世を生き延びるため、出家の身の幸隆に、わが子、勘右衛門の将来を託した小林丹波だった。できるだけ、戦（いくさ）の埒外に子孫を置きたかったのかもしれないが、結局、幸隆は還俗して武将に戻ってしまう。
乱世に生きた小林丹波の事跡は、「先祖附」以外には残っておらず、勘右衛門を幸隆に託して以降は、歴史から姿を消している。