1236 erhielten die Dominikaner den Platz zum Bau der Kirche und des Klosters, der damals außerhalb der Stadtmauer lag. Um 1265 wurde das Langhaus der den Heiligen Peter und Paul geweihten Kirche fertig gestellt, etwa 70 Jahre später, zwischen 1320 und 1330, der Chor, in dem sich noch die originale Polychromierung erhalten hat. Das etwa zur gleichen Zeit wie die Kirche errichtete Kloster umschließt einen trapezförmigen Innenhof. Der frühgotische Kreuzgang, der Ende des 17. Jahrhunderts zugemauert wurde, konnte im Zuge der Restaurierung in den 1960er Jahren im Ostteil rekonstruiert werden.
An der Stirnwand des linken Seitenschiffes befindet sich ein spitzbogiges Fresko aud dem späten 13. Jahrhundert. Die Komposition ist in drei Horizontalstreifen gegliedert und zeigt das Letzte Abendmahl, die Kreuzigung Christi sowie die Krönung Mariens mit seitlich kniendem Stifterpaar. Eine Inschrift weist als Stifter den Kremser Bürger Gozzo aus. Die Malereien zählen neben neben jenen der Westempore des Doms von Gurk in Kärnten zu den qualitätvollsten Beispielen des "Zackenstils" in Österreich.
Im 18. Jahrhundert wurde die Kirche barockisiert und nach der Auflösung des Ordens durch Joseph II. im Jahr 1784 profaniert. Die Gebäude dienten in der Folgezeit als Knopffabrik, Speicher und Feuerwehrdepot, ab 1891 durch Einziehen einer Zwischendecke in der Kirche als Museumsraum. Im Kloster wurden Wohnungen und Werkstätten untergebracht. Ab 1961 erfolgten umfangreiche Restaurierungsarbeiten, wobei die originale gotische Polychromierung freigelegt wurde. Die Kirche und Teile des Klosters beherbergen seither das Kremser Stadtmuseum (Weinstadtmuseum), das nach der Verlegung des Eingangs in das ehemalige Prioratsgebäude im Zuge einer weiteren Restaurierung 1994 nun durch die alte mittelalterliche Klosterpforte betreten wird, die durch den barocken Zubau verdeckt worden war.