上野と武蔵の境を流れる神流川の北岸、上野国緑野郡に小林党の名字の地・小林がある。山名家の武将として「太平記」に登場する小林民部丞ら小林一族はこの地の出身だった。この地に残った一族も、同族である高山氏らとともに南北朝から戦国にかけての関東の争乱に名をとどめている。両者の関係を推測すると、名字の地に残った一族がいわゆる本流で、“西遷”したのは庶流だったと考えられる。
今回の推測の参考としたのは、上野の守護大名上杉氏と中小の国人層との関係である。
上野は武蔵の国と同様に、中小国人層が緩やかに結びついた「一揆」の力が強かった。上杉氏が守護領国体制を強化していく過程で、守護による国人層の組織化が進む。
こうしたなか、一族の中で守護の被官となるものが出てくる。
峰岸純夫氏の「上州一揆と上杉氏守護領国体制」（「中世の東国 地域と権力」東京大学出版会）では、結城合戦（1440年）の時の「上杉清方着到首注文」などにより、上州一揆や守護被官の構成を検討している。
上州一揆構成員であるが、同族が守護被官になっている者の中には、高山氏も入っている。また、一揆側には、高山氏の同族である小林氏の名前も見える。
同族関係をクローズアップして、守護被官と一揆側の参加者の比較をすると、一揆側に参加する者の名前が多く、被官は一人のケースがほとんどだ。
このことは「一揆側は一族体制での参加であるのに対して、守護被官は個人参加である、。一揆側に惣領や及び、庶子の主要部分があり、庶子の一部が被官となったと考えるのが妥当であろう」と結論づけている。
されにこの背景には、「国人領主は分限（所領）の狭小さの故に、常にはみ出さざるを得ない庶子を持ち、それが守護上杉氏の官僚体制の整備、直属軍事力の造成と対応していた」と見ておられる。
「太平記」に登場する山名家の武将には、小林氏ばかりでなく、高山氏も名前も見られ、両氏は山名家の領国の守護代にも登用されている。峰岸氏が論証された時代からは遡るが、小林にしても、高山にしても、西国に行った者たちは、「はみ出さざるを得ない庶子」だったと考えても不自然ではない。
それはまた、明徳の乱以後、小林氏は山名家中で急速に勢力を失ったことも、一族を挙げて山名氏に従ったのではないことを証明しているかもしれない。先祖伝来の地を離れて、風雲に乗らんとしたのは、やはり、「はみ出さざるを得ない者たち」だったのだろう。