Im 14. Jahrhundert war Wildberg ein landesfürstliches Lehen der Maissauer; dann gelang es in den Beistz der Herren von Puchheim, die aus dem Schloss ein Zentrum der Reformation machten. 1580 errichtete Albrecht von Puchheim eine bis 1622 bestehende Druckerei für evangelische Schriften ein, allerdings haben sich nur zwei Drucke erhalten.
Die malerische Anlage wurde unter Hans von Puchheim gegen Ende des 16. Jahrhunderts umgebaut. Arkaden stellen eine Verbindung der mittelalterlichen Bauteile her. Sie sind der alten Burgküche vorgestellt.