Von jeher waren waren für die auf einem Felssporn 320 m über der Donau gelegene Burg die beiden Felsköpfe bestimmend - am westlichen Ende über der Donau der so genannte "Stein", am östlichen Ende der so genannte "Bürgel". Beide wurden bereits im 12. und 13. Jahrhundert in die Bebauung der Burg einbezogen. Der "Stein" bildete den wohnlichen und repräsentativen Mittelpunkt. Von 1242 bis 1355 war die Burg Aggstein als Lehen der bayerischen Herzöge im Besitz der Kuenringer.
Die heute noch erhaltene Burganlage wurde unter Erhaltung von verschiedenen Bauteilen aus dem 12., 13. und vermutlich auch 14. Jahrhundert geschaffen. Die gesamte Südseite der mittleren Burgbebauung wurde für Gebäude mit wirtschaftlicher Funktion genutzt. In diese Zeit fällt auch die vollständige Neuerrichtung der Kapelle. Zahlreiche qualitätvolle architektonische Details aus dem 15. Jahrhundert sind bis heute erhalten. Der gotische Ausbau der Burg ist für die erste Hälfte des 15. Jahrhunderts gesichert. Er zeigt ein seltenes Beispiel dafür, wie man in dieser Zeit den verstärkt aufkommenden neuen schwedischen Feuerwaffen durch architektonische Maßnahmen begegnen wollte. Die Bauteile des 16. und frühen 17. Jahrhunderts beziehen sich hauptsächlich auf Adaptierungen der "Mittelburg", z.B. der Kanzleibauten, einer Gebäudezeile entlang der Südseite des Hofes. Ein sehr gut erhaltenes Renaissance-Fenster datiert den Umbau des Brunnenturms an der östlichen Seite der Burg ebenfalls in das frühe 17. Jahrhundert. Aus dieser Zeit stammt auch die Anlage des so genannten "Rosengärtleins".