Die seit dem 13. Jahrhundert bestehende und im 15. und 16. Jahrhundert umgebaute Schlossanlage war Anfang des 18. Jahrhunderts ruinös und unbewohnbar geworden. 1730/31 gelangte der Besitz schließlich an die späteren Fürsten Khevenhüller-Metsch, die sofort mit dem Neubau des Schlosses unter der Leitung des Baumeisters Franz Anton Pilgram, einem Schüler Lukas von Hildebrandts, begannen.
Das heutige Schloss entstand in mehreren Bauphasen, die sich bis 1770/80 hinzogen. Es wurde eine vierflügelige Anlage mit zwei bis drei Geschoßen errichtet, die durch einen kleinen, quadratischen Innenhof erschlossen wird. Im Osttrakt führt der Zugang zur ehemaligen Parkanlage (heute Gastgarten) durch die Sala terrena. Der Garten wird von auf Sockeln stehenden barocken Vasen und Grotesken gegen den Teich optisch abgegrenzt, zu dem eine Stiegenanlage mit geschwungenen Balustraden führt. Bemerkenswert sind auch die Räume im Obergeschoß, die eine reiche Ausstattung mit Wanddekorationen aufweisen. Weitgehend erhalten sind die Türen in dekorierten Steinrahmungen, Kastenfenster und Kamine. Die durchgehende architektonische Innengestaltung vermittelt einen vollständigen Gesamteindruck. Der Bau besitzt auch noch seine barocke Dachkonstruktion inklusive dem Dachstuhl aus Eichenholz.
Insgesamt ist das Schloss Riegersburg als eines der bedeutendsten Beispiele ländlicher Architektur des Hochbarock in Österreich anzusehen.