Die erste urkundliche Erwähnung des Frauenbades datiert mit 1357. Das heutige, im klassizistischen Stil errichtete Gebäude wurde 1821 eröffnet, nachdem das ältere Frauenbad durch einen verheerenden Brand zerstört worden war. Der Badebetrieb blieb bis 1973 aufrecht, später wurde das Frauenbad generalsaniert und für Ausstellungen genutzt. 2009 wurde das Arnulf-Rainer-Museum im ehemaligen Frauenbad eingerichtet.