小林勘右衛門は、細川家が豊前を領していた時代に、当時、隠居していた忠興によって、暇を出されている。知行を召し上げになったわけだが、周囲のとりなしにより、藩主・忠利が寛大な措置を講じ、帰参を許されている。
戦国時代に山名家の滅亡とともに没落したが、忠興の弟・幸隆（妙庵）に仕えることによってようやく細川家に召し抱えられたが、再び、浪々の身となるところであった。
「近世大名家の権力と領主経済」（吉岡豊雄著）の「初期大名家の隠居体制と藩主権力」の中でに詳しく触れられている。当時、隠居していた忠興に付けられた家臣は、忠興の居城地にちなみ、「中津衆」と呼び、これに対し、藩主・忠利の下に構成された家臣を「小倉衆」と言っていた。「中津衆」は藩主・忠利との制度上の主従関係のほかに、隠居・忠興との個別人格的な主従関係を持つ、「主従関係の二重構造」として検討されている。
以下、「初期大名家の隠居体制と藩主権力」（115頁）より、抜粋して紹介する。
中津衆は忠興との個人的関係を根拠に編成されたがゆえに、現実的には隠居忠興との間に濃厚な人格的な関係をとり結び、事実上忠興家臣として存在している。この点を端的に示すのが忠興による中津衆の改易である。忠興は彼自身の気性もあってかしばしば家臣に暇を遣わしている。たとえば小林勘右衛門（知行一九三石）は忠興の「御前損」じ、周囲のとりなしで何とか赦免される。中津重臣の村上河内守・長舟十右衛門は幸い「越中様（細川忠利）前々●被成御存知者」ということで忠利に対し小倉での召仕いを願い出る。忠利は小林に対し改めて忠興に「わひ事」をするように命じ、一〇人扶持を給して小倉で「奉公」させている。
同書で著者の吉村氏は、勘右衛門のこの事例は、中津衆の置かれている状況をよく表していると指摘。「中津衆は、制度上は、藩主・忠利の家臣であるが、忠興から暇を出されると、忠利のもとに復帰するのではなく、家臣としての身分そのものを失ってしまう」のだという。
こうした事例は、勘右衛門にとどまらず散見される。細川家の「先祖附」には六家見えるが、「後に忠利に許され、先祖附に収録されている。知行召上げとなったまま、牢人化した中津衆も少なくなかったはずである」ということだ。
二人の中津衆重臣が「忠利様も、前々からご存知の勘右衛門のことですから、なんとか」と懸命にとりなしてくれ、頼まれた忠利も「勘右衛門、お前ももう一度、伏して、三斎様（忠興）に、おわびをするのだ」と諭した上で、その庇護の下にいれてくれた。幼少のころ、父・丹波とともに戦国の世を仕える主君を探して流浪した記憶を持つ勘右衛門はどういう思いであっただろうか。
寛永２～３年（1625～26年）のころのこと。徳川家光の治世の初期で、世の中は安定期に入ったが、外様大名の改易は続いていた。細川家の扶持を離れることなく、家を存続できたことは、奇跡と言っていいかもしれない。