桓武平氏良文流と伝えられる。秩父氏の一族で、秩父重綱の三男重遠が上野国緑野郡高山（群馬県藤岡市）に住み、高山氏を名乗った。一説では、最初に住んだのは武蔵国高山邑とも伝えられ、その後、緑野郡に移ったとも伝えられる。
高山には、伊勢神宮の荘園「高山御厨」があり、そこを本拠とした武士団だったと見られる。小林党の名字の地「小林」も、この高山御厨内にある。
