平井金山城は関東管領山内上杉氏の居城、平井城の詰城で、関東管領・上杉顕定による平井城改修の際に築城されたと伝わっています。1552年(天文21年)に上杉憲政が北条氏に追われ越後に逃れた際、平井城とともに落城したと考えられています。その後、1560年(永禄3年)に平井城は長尾景虎により奪回されましたが、景虎は厩橋城を関東進出の拠点としたため平井城は廃城となり、平井金山城も同時に破却されたと推測されます。現在城址は一部が藤岡市の所有地となっており、「関東管領金山城址公園」として自由に見学することが可能です。城址では保存状態の良好な遺構を確認することができます。