高山党が本拠とした荘園「高山御厨（みくりや）」が上野国緑野郡の地に成立したのは、天承元年（1131年）と言われる。御厨は、伊勢神宮に寄進された荘園のこと。上野国の荘園では、新田氏が開いた新田荘は保元２年（1157年）に成立。高山御厨は比較的早くできていることがわかる。
上野国の荘園の成立時期を考える際に重要になるのは、天仁元年（1108年）７月21日に起きた浅間山大噴火である。これにより上野国では火山灰の堆積によって、農業は壊滅的な打撃を受けた。右大臣藤原宗忠の日記「中右記」に残された記述は次の通りだ。
猛火山嶺を焼き、その煙天に属し、砂礫国に満つ。灰燼庭に積もる。国内田畠これにより、すでにもって滅亡す。一国の災い、いまだかつて此の如き事あらず。
噴火により荒廃した地を開発して荘園化していったのが、高山党をはじめ、清和源氏の新田氏や藤原秀郷流の武士団であった。（参考：「上野武士団の中世史」はじめに）