Sorto in seguito al Concilio di Trento, su volere del vescovo Gerini, Il primo nucleo del Seminario, destinato ad ospitare non pù di 12 chierici, fu poi ingrandito nel 1736, sotto il vescovo Accoramboni.

L'aspetto attuale è, però, dovuto al vescovo Mastai Ferretti, poi Pio IX, che fece restaurare l'edificio nel 1836.

Il Seminario ha al suo interno un teatro ed una chiesa, mentre la facciata, decorata da un timpano arcuato, include un grande orologio.