肥後熊本の地で明治維新を迎えた小林恒太郎は、明治９年に起きた神風連の乱に加わり、こと敗れた後、割腹する。乱を取り上げた書の中には、小林恒太郎の言葉が記録されている。
10月24日深夜、熊本城内にあった鎮台の砲兵営、歩兵営を襲撃することから始まった神風連の乱は、両営を大混乱に陥れるも、銃撃による反撃が始まると、もはや刀槍だけで太刀打ちできず、数時間の戦闘で敗れてしまう。首領の太田黒伴雄も胸に銃弾を受け、城内法華坂まで退いたところで、義弟大野昇雄の介錯を受けた。
法華坂に退却してきた小林恒太郎は、太田黒の戦死を知り、今回の挙兵が成らなかったことを悟ったが、平然として「斯くなるも御神慮なり」と語ったと伝えられる。
このエピソードを載せた「血史熊本敬神党」（小早川秀雄著）では、小林恒太郎の態度を、「その運命に安んじて惑わざりし態度は、まことに壮烈なる者ありしと云ふ」と記している。
戦闘に敗れた一党は、城内にあった藤崎宮に集まり、進退を協議するが、太田黒、加屋霽堅、斎藤求三郎ら首脳陣を失っており、すでに退勢は挽回できない状況に陥っていた。
さらに藤崎宮で、旧藩士の大勢力である「学校党」からの接触を受け、学校党の応援を誤解し、彼らが集結していた北岡の旧藩主細川邸に移動。だが、結局。「大義名分のない戦はできぬ」と学校党側から応援を拒否されてしまう。
引き返して再討ち入りか、いったん逃れて再挙をはかるか――。ここでも議論が始まり、まとまらない。「血史熊本敬神党」によると、小林恒太郎は「先に法華坂より藤崎に退きしさえ、臆病神にとりつかれしためなるに、再び返り戦わんとするなど思いもよらず。ただこの上は、人々その進退を自由にするほかはあらず」と冷然と言い、再討ち入り説に同意しなかった。
この場面は、「神風連血涙史」（石原醜男著）には古田十郎、田代儀太郎らが再討ち入りを強く主張したのに対して、小林恒太郎は「いや、ここまで諸郷党に引きずられてきたのが、すでにわが党の臆病神に、取り憑かれた証拠である。今更引き返して。敵城に打ち入ろうなど思いもよらぬ。むしろ夜の明けざるうち、島原に押し渡り、萩・秋月等の同盟としめし合い、再挙を謀るが一番よい」と反対し、これが趨勢を決めた。
一行はこの後、船を求めて、熊本の水運の玄関口である高橋に向かった。船を得られたもの、時悪く、干潮で出航できず、金峰山に登り、山頂で再度、軍議開くが、最後は軍神弓矢八幡を奉安し、神籤をさぐって神慮をうかがった結果、「斬入り」という結果が出た。
鬼丸競はわが意を得たり、とばかりに、「ただ潔く敵営に切入って神慮の旨に従うばかりだ｣と気負い立つ。この時は小林恒太郎も、「ナニ『切入り』との御示しはやがて死ねとの御神慮と伺ふがよい。ああただ潔く死のう」と賛同したと「神風連血涙史」には書かれている。
金峰山に登った一同47人は、最後の戦いに奮い立ち、17,8歳の若者は、将来ある身と、下山させた上で、再び城下に向かおうとしたが、すでに警戒が厳しく、再討ち入りを断念、それぞれ散っていった。
小林恒太郎の最期は、「血史熊本敬神党」に詳しい。小林宅において、鬼丸競、野口満雄とともに自刃した。
そこでは、母ツタ子にのこぎりの歯のようになった刀を見せて、「かくなるまで働きたり」と述べたほか、義理の兄の坂本茂に頼み、同盟を結んだ秋月、萩方面の情勢を探ってもらうが、再挙の見込みがないことを納得すると、母には、先立つ不幸を詫び、「ことここに至りては、割腹の外なき」と申し述べ、また、この年の３月に嫁いできたばかりの妻・マシ子には、19歳の若さで生涯寡婦となることを哀れみ、自分との離別再縁を求めた。
これに対する女たちの答えは、母は「なに、相済まぬことのあるべき。安心して快く死すべし」と気丈に励まし、妻は「わらわは不肖なれども、願わくば、良人のために貞節を全うして、永く母上へ孝養を尽くしたし」と頑なに夫の申し出を拒んだという。
渡辺京二氏は、その著「神風連の時代」所収の「神風連伝説」の中で、小林恒太郎の言動に興味を持ち、以下のように書いている。
「小林は元来、春日寺塾系のリーダーとして、古田十郎の豪傑肌に対し、温厚の君子といわれているが、挙兵以来の言動はシニックで人を刺すおもむきあり、一党に対し、醒めた意識のもとにある種の批判の念を禁じえなかったらしい」としている。