明治９年、政府の洋化政策に反発して熊本鎮台を襲った「神風連の乱」を起こした熊本敬神党の中で、小林恒太郎は計画から挙兵まで、枢機に参与する参謀の一人に数えられるが、“外様”的な存在であった。
「血史熊本敬神党」（小早川秀雄著、三〇頁）では、「この枢機に参与し、終始画策したる者は富永守国、福岡応彦、吉田（古田）十郎、石原運四郎、緒方小太郎、阿部景器、小林恒太郎をして、富永は実にその参謀長たりしなり」としている。
この中にあって、古田十郎と小林恒太郎は「春日寺塾派」という色分けがされている。富永守国や福岡応彦ら、いわゆる本流の引く者たちは違う目で見られる傾向があったし、行動にも表れていた。
春日寺塾は、河上彦斎が熊本城下に手取塾とともに創設。手取塾が軽輩の者が中心だったのに対し、春日寺塾は士分の子弟が入っていた。
古田、小林のほか、春日寺塾からは、田代儀太郎、深水栄季らがいた。河上彦斎の思惑としては、手取塾は敬神党直営の私塾として同志育成を図り、春日寺塾の方は直系の色彩を薄め、藩の保守派であった「学校党」や旧藩士が属した地域集団である「郷党」との橋渡しを期待したものがあったと推測される。
実際に挙兵に際し、古田、小林は旧藩士による郷党との連携に奔走。植野常備、南誠哉、米良亀雄ら“客将”の乱への参加を実現させた。
また、春日寺塾には、学校党の青年将校的な存在であった佐々友房も学んでいた。当初は敬神党と交流していたが、後にその思想性に嫌気が差して離れていった人物ではある。神風連の乱では、逆に学校党の人間が巻き込まれないように獅子奮迅の活躍さえ見せている。
河上彦斎自身は、明治４年に斬罪に処せられるが、それまでにも、ひそかに挙兵の企てたようだ。明治３年秋にも挙兵計画があり、小林恒太郎の名前も出てくるという。
渡辺京二氏は、こうしたことから、両塾は熊本城下の青年層を吸収し、軍事的動員力を備えたものを想定してつくられたと考え、敬神党の党派形成の完成も、両塾の形成が大きく関与していることを指摘されている。（「神風連とその時代」第３章熊本敬神党）
ただし、冒頭に“外様的”存在と表現したように、富永ら敬神党直系と呼ばれる人たちと、春日寺塾で学んだ古田、小林らや、彼らに誘われて参加した郷党グループでは、行動にも違いが出てくる。
鎮台襲撃後、ようやく銃砲による鎮台兵の反撃が組織的に始まり、敗北が決定的になると、戦死した首領の太田黒伴雄の遺言通り、そのまま全員討ち死にを主張する直系党員らに対し、小林らは「犬死だ」と拒み、再挙に賭ける方向に大勢を導くことになる。
だが、再挙は夢と消え、結局、多くの者がその後、なすすべもなく自決してしまうことになる。
“狂信的”と周りから見られがちな一党だが、当然のことながら、そんなに単純なカテゴリーでくくれるものではない。複雑な背景を抱えた人たちの集まりである以上、様々な場面でその素顔が垣間見える。特に、太田黒の戦死後、その傾向は顕著になる。挙兵以来、「シニックで人を刺すおもむきがある」と、渡辺氏に指摘（「神風連とその時代」神風連伝説）された小林恒太郎の言動も、そうした神風連の乱の一鏡面を見せてくれる。