Pirmą kartą Lietuvos archyvuose Panoterių dvaras ir laukas paminėti 1597 m. Manoma, kad XVI a. pradžioje dvarą  valdė ponas Taras, vadovavęs šioje vietoje kovoms su kryžiuočiais. Jo garbei Panoteriams ir duotas toks pavadinimas. 

XIX a. dvarui priklausė 10 valakų (apie 210 ha) žemės, o jį valdė bajoras A.Domeika.

Paskutinis dvaro valdytojas buvo Antanas Domeika. Tai buvo gero būdo ir paprastas žmogus. Jo tėvas gyvenęs Vokietijoje, todėl Antanas gerai mokėjo vokiečių kalbą. Be to, jis domėjosi medicina ir gydydavo vietos žmones. Manoma, kad Antanas Domeika yra kilęs iš žymios Domeikų- Kontrymų bajorų giminės.    

Panoterių dvaro ūkinius reikalus tvarkė jo žmona, mėgusi bylinėtis su kaimynais dėl uogavimo, grybavimo dvaro miškuose, gyvulių patekimo į  dvaro žemių teritoriją.  Ponia buvusi gana žiauri su samdiniais. Šiems dirbant ūkio darbus laukuose, ji  pasirodydavo su šunų pulku ir prižiūrėdavo samdinių darbus.

Nuo dvarvietės iki bažnyčios peizažą puošia liepų alėja, mat tuo keliu ponai važiuodavo į bažnyčią. Manoma, kad liepos pasodintos maždaug prieš 130 metų.

Domeikos du kartus traukėsi iš savo namų. Užėjus I pasauliniam karui, ponai Domeikos pasitraukė į Rusijos gilumą. 1915 m. iš Pasodos k. į jų  dvarą buvo perkelta Panoterių pradžios mokykla, čia veikusi iki 1919 m., kol sugrįžo ponai iš tremties. Antrą kartą ponai Domeikos paliko savo namus 1941 m. birželio 14 d., prasidėjus trėmimams į Sibirą. Pasak žmonių pasakojimų, abu ponai mirė tremtyje. Sūnus ir dukra, grįžę iš tremties į Lietuvą, gyveno Kaune

Po karo dvarvietėje veikė pieno priėmimo punktas, kolūkio statybininkai suremontavo ūkinius pastatus, svirną, klėtį, kurie yra ir šiandien naudojami. Pieninės nėra, dvarvietės vietoje 1986 m. pastatytas 2000 t talpos grūdų sandėlis ir džiovykla. Dvaro sodybą mena išlikusi liepų alėja, klėtis ir svirno pastatai.