Der grätzlartige, im Kern gotische Baublock mit Marienkapelle und Rathaus im westlichen Teil des Hauptplatzes erhielt seine wesentliche Gestaltung im 16. Jahrhundert. Die 1367 errichtete Marienkapelle, ab 1378 eine Filiale der Stadtpfarrkirche St. Stephan, war nur wenige Jahrzehnte nach ihrem Umbau Anfang des 16. Jahrhunderts (Chorweihe 1520) baufällig. 1568/69 wurde sie daher umgebaut und das Obergeschoß zum Rathaus ausgebaut. 1571/72 erfolgte die Adaptierung des ursprünglich gotischen Nord-Turms durch Stephan Famans, Anton Bernhardt und Peter Gramber sowie den Steinmetz Linhart Aigmann. Der Turm wurde erhöht und mit einem Arkadengang versehen. Er war nun gleichzeitig Aussichtsturm und wurde zu einem Wahrzeichen der Stadt. Nach einem weiteren Ausbau 1615/16 wurden Kapelle und Ratssaal Mitte des 18. Jahrhunderts barock umgestaltet (1740 bis ca. 1760).