Auf der höchsten Geländestufe über der Stadt ließ Wolf Rumpf zwischen 1590 und 1606 anstelle der von Hadmar II. von Kuenring zwischen 1201 und 1208 gegründeten romanischen Stadtburg ein Renaissanceschloss errichten. Bei der Planung des Schlosses wird der kaiserliche Baumeister Pietro Ferrabosco genannt, der wohl einen ersten Entwurf geliefert hat, der auch schon die Nordfassade des Schlosses mit dem charakteristischen Turm enthalten hat. Ausgeführt wurde der Bau vielleicht durch Meister Anton, den Erbauer des Linzer Schlosses, nach etwas abgeänderten Plänen über einem rechteckigen Grundriss und unter Verzicht auf die Einbeziehung der mittelalterlichen Teile der Burg. Die Blickfänge der vierflügeligen Anlage sind ohne Zweifel das Renaissancetor an der Auffahrt, der wuchtige Turm sowie die klassisch italienisch anmutenden dreigeschoßigen Arkadengänge im Innenhof. Eine Besonderheit ist das in historisierendem Rokoko errichtete und mit vergoldetem Papiermaché verzierte Schlosstheater von Ferdinand Fellner und Hermann Helmer aus dem Jahr 1885.