Le bâtiment fut construit par un architecte parisien, Louis de La Brière, de 1778 à 1781. Aujourd'hui, la préfecture est partiellement inscrite au titre des Monuments historiques le 1er , pour les façades donnant sur la cour d'honneur, leurs toitures du XIXe siècle, la grille de fer forgé et les deux lions sculptés par Valtat.