Das zweite bedeutende Gebäude in Windischbergerdorf ist das Schloss. Wahrscheinlich ist, dass zur Burg nach Jahren auch das Schloss mit dem großen landwirtschaftlichen Grundbesitz entstand. Leider fehlen urkundliche Belege.

Der Zeichner und Chronist Wening beschrieb das Gut so:

Pergerdorf ist bloß ein geringes Landsassengütl … nächst an dem Chambfluß etwas weniges erhöhet, hat eine gebaute Wohnung … mit einer kleinen Capellen (St. Michael) versehen, ist ansonsten zur nächst entlegenen Pfarr Chammünster gehörig.“

Der Stich von Wening im Format von 12×16,5 cm zeigte ein stolzes Schloß mit vielen Nebengebäuden. Eine hohe Mauer umschloß den parkartigen Garten. Im Hintergrund der Buchberg. Die Grundmauern der Kapelle mit Zwiebelturm sind noch vorhanden. Sonst aber gab es keine Ähnlichkeit mehr mit der früheren und heutigen Anlage. Der Umbau um die Mitte des 18. Jahrhunderts von Johann Martin Obersperger war so gründlich, daß keine Ähnlichkeit mehr mit dem Schloß von Wening besteht.

Übersicht der häufig wechselnden Besitzer