Dell'antica chiesa gotica costruita nel corso del '200, restano il portale in cotto del 1340 e l'abside edificata prima del 1374. Nel 1483 a spese di Gerolamo Riario e ad opera di mastro Giorgio Fiorentino vennero iniziati e rapidamente terminati i due chiostri porticati ad archi con capitelli che recano ancora le date di fabbricazione.
Il complesso ha subito numerose trasformazioni ed adattamenti, tra cui la sistemazione settecentesca dell'interno della chiesa.

Il complesso si accinge ad ospitare, dopo la Pinacoteca Comunale, anche gli altri musei della città.