1324 erstmals urkundlich erwähnt, wurde der ehemalige Wirtschaftshof 1683 von den Osmanen zerstört. Im Jahr 1692 ging der Schwaighof in den Besitz des Augustiner-Chorherrenstiftes St. Pölten über und wurde bald darauf im barocken Stil, vermutlich unter der Leitung Jakob Prandtauers, wieder aufgebaut. Nach einer Ausbauphase im letzten Drittel des 20. Jahrhunderts wurde im Schwaighof ein Seminarzentrum eingerichtet.