Jusqu’au dernier tiers du XVIIIe siècle, les évêques d’Agen habitent au pied de la vieille cathédrale de Saint-Étienne, la place du Marché-au-Blé, où maintenant se trouve le nouveau Marché Parking. Le 22 juillet 1773, le mur de façade de l’ancien palais épiscopal s’écroule partiellement . Après sa nomination à l’évêché d’Agen, l’évêque Jean-Louis d’Usson de Bonnac,.féru d’art, décide de construire un nouveau palais épiscopal sur les plans de l’architecte Leroy qui reconstruit le château d’Aiguillon. La première pierreest posée le 19 juin 1775. Les travaux sont loin d’être terminés quand l’évêque s’installe en 1783 au rez de chaussée le seul habitable.

A la Révolution en 1789 le palais Episcopal devient la propriété de la nation. Il reste inoccupé et commence à se dégrader. En 1796 un arrêté affecte l’ancien évêché à l’école centrale nouvellement établie en Lot et Garonne. Les réparations sont alors effectuées, mais en janvier 1803 l’école centrale est fermée. Inoccupée pendant un an le premier consul institue l’ordre de la légion d’honneur et affecte le bâtiment à la 4eme cohorte. Le 30 juillet 1808 Napoléon de retour de Bayonne décide par décret d’en faire la préfecture du département créée primitivement en 1800 dans l’ancien couvent des carmélites aujourd’hui le collège Chaumie. Deux ans après le 23 novembre 1810 le préfet prend possession de son nouvel hôtel.

Dans les Salons se trouvent une vingtaine de toiles prélevées au château du Duc d’Aiguillon, parmi lesquelles les portrait de Joseph de Saxe, Mme de Pompadour et madame Du Barry.

Des transformations de l’ancien palais sont nécessaires. L’architecte Mauriette ajoute une aile Gauche. Les 27,28,et 29 juin 1815 la préfecture est en état de siège suite à la rivalité des bonapartistes et des royalistes qui se disputent le pouvoir. En 1824 les plafonds et le Grand escalier sont restaurés ainsi que le perron d’honneur et le balcon en 1838. Les façades suivent et à partir de 1840. La salle des aigles est construite et inaugurée avec la grandiose réception en l’honneur du prince Louis Napoléon présent à Agen le 5 octobre 1852. Sous l’administration de Jules Ducos, les salons de réception, les salles d’adjudication, le conseil de préfecture, le cabinet du préfet, les archives, les bureaux sont l’objet de travaux. En 1857 le rapport du conseil général résume les résultats obtenus par la restauration complète de l’hôtel du département qui a été sauvé d’une ruine certaine.
Après la pose de la première pierre en novembre 1862, le Palais de Justice construit dans le prolongement de la façade de l’hôtel du département est achevé en 1869. Profitant de ces travaux, les maisons situées devant la préfecture sont détruites, une avenue est alors aménagée devant la porte d’entrée de la cour d’honneur et des grilles remplacent les murs originaux. Coté sud un parc à l’anglaise remplace le jardin à la Française qui alors est ouvert au public.

Le 21 octobre 1904 un incendie se déclare dans les combles au dessus des appartements du préfet et très rapidement en moins de 2 heures, tout le bâtiment principal est détruit ainsi qu’une partie des archives départementales. Il ne reste que les murs calcinés, une partie de l’aile droite et l’annexe ou se trouve le reste des archives. La plupart des meubles et la belle collection des portraits et des tableaux sont sauvés. L’édifice est reconstruit par l’architecte Edouard Payen. Les travaux vont durer jusqu’en 1909.
En 1947 l’hôtel de la Préfecture d’Agen est classé sur l’inventaire supplémentaire des monuments historiques.
De nombreux personnages illustres ont été reçus à l’hôtel de la préfecture

En 1815 Le Duc et la Duchesse d’Angoulême.

En 1839 Le Duc d’Orléans fils aîné de Louis-Philippe vient poser la première pierre du Pont Canal

En Octobre 1852 Louis Napoléon Bonaparte

En 1975 Le Maréchal Mac-Mahon après la désastreuse inondation de la Garonne.

Les Présidents de la 3ème République, Sadi-Carnot en 1888 qui pose la première pierre du Lycée Bernard Palissy, Armand Fallières en 1906, et Albert Lebrun en 1938.

En 1941 Le Maréchal Pétain

En 1961 Le général De Gaulle

La ville d’Agen possède avec l’Hôtel de la Préfecture, un vaste édifice dont la grandeur, l’élégance de ses proportions et l’importance des évènements historiques qui ont marqués l’histoire d’Agen depuis plus de deux siècles, attirent l’attention de tous les Agenais, passants, touristes et simple citoyen.