Schloss Raggendorf wurde 1559, wie ein Grundstein in den Kellergewölben angibt, von Christian Zoppel als Festung am Ufer des Weidenbaches erbaut. Die Grabplatte des Bauherrn, die ursprünglich wohl als Deckplatte einer Tumba fungierte, zeigt Zoppl seinem Stand gemäß als Ritter. Die Grabplatte befindet sich heute in der Pfarrkirche Raggendorf. Nach mehrfachem Besitzwechsel kam die Herrschaft an die Grafen Sonnau. 1733 ließ Ehrenreich Graf Sonnau das Schloss barockisieren und in der Nordwestecke eine Kapelle einrichten. Von 1861 - 1908 befand sich Schloss Raggendorf in Besitz von Erzherzog Ernst. Heute wird das Gebäude als Wirtschaftsbetrieb und Wohnhaus genutzt.