Die mittelalterliche Burg wurde vermutlich im 12. Jahrhundert, zur Zeit der ersten urkundlichen Erwähnung des Ortes Matzen (1194), gegründet. In der zweiten Hälfte des 16. Jahrhunderts bauten die Freiherrn von Herberstein, neue Besitzer seit 1551, die mittelalterliche befestigte Burg in ein wehrhaftes Renaissanceschloss um. Während der zweiten Wiener Türkenbelagerung 1683 diente das Schloss als wichtiger Zufluchtsort für die Bevölkerung. 1827 ließ Christian Joseph Graf Kinsky das Schloss dem Stil der Romantik entsprechend in eine neugotische Burg mit kleinen Türmen und Zinnen verwandeln. In den 1960er Jahren dient das Schloss als Außenstelle des Museums für Völkerkunde.