La prima residenza vescovile fu costruita dal 1187 - 1188 insieme con la cattedrale.

Di questa prima costruzione non esistono tracce, ma si può supporre che fosse un elegante edificio romanico adorno di una loggia, ampliato poi nel Cinquecento.

Nel 1766 il cardinale Bandi pose mano al grandioso rifacimento di buona parte dell'edificio su progetto di Cosimo Morelli che costruì lo scalone, con la lunghissima rampa scandita da riquadri romboidali, losanghe e capitelli dorici; l'atrio con le statue della Giustizia e della Carità e la sala grande sono invece opera di Luigi Morelli.

Nel 1845 fu infine completata per volontà dell'arcivescovo Mastai Ferretti, poi Pio IX, la facciata con le finestre simmetricamente aritmiche.

Oggi è ancora residenza vescovile ed ospita il Museo Diocesiano, che raccoglie importanti raccolte di arte sacra (corali miniati, argenti, tessuti, quadri).