L’idée de la création d’un Musée à Agen a pris corps vers 1835 grâce à Sylvain Dumon député et futur ministre. Grace à lui le jardin des plantes envoie à la Société Académique des Sciences et des Arts d’Agen des échantillons Géologiques et des fossiles en même temps que le buste de Lacépède naturaliste et homme politique. Ce premier don est bientôt complété par des dons locaux.
Le local de la société s’avère bientôt trop petit et le conseil municipal autorise en 1841 son installation dans la maison Diché rue des Colonels Lacuée en face de la rue de l’Angle Droit.
En 1863 pour prévenir les détériorations, la société offre toutes ses collections au conseil municipal. En 1874 il est question de démolir l’Hôtel d’Estrade, lieu de l’ancienne mairie d’Agen désaffectée depuis 1869; C’est une grande émotion à Agen car une véritable folie de démolition des vieux monuments s’est emparé de la ville car des vieux monuments pittoresque ont déjà disparu ,les portes, la Tour Grande Horloge, le Beffroi ect…
La Société Académique fait alors l’impossible pour éviter cet acte stupide et propose de réunir les trois hôtels contigus pour former le Musée d’Agen. Le Maire J Meynot accepte en 1876. 

Actuellement, le musée des Beaux-arts d’Agen est fondé avec la réunions de quatre hôtels particuliers datant de la Renaissance, l’Hôtel d’Estrade, l’Hôtel de Vaurs, l’Hôtel Vergès et l’Hôtel Monluc bâtis sur l’ancien tracé des remparts de la ville d’Agen. Ils ont été construits à la fin du XVe siècle pour l’hôtel Monluc et au début du XVIe siècle pour les trois autres.
Un cinquième bâtiment l’aile Aunac qui borde la rue Chaudordy date du XIXe siècle.

L’hôtel d’Estrade a été construit au début du XVI eme siècle par François d’Estrade, père du Maréchal, qui le loue en 1628 à la municipalité pour loger le Duc d’Epernon, ce qui lui valut le titre de Maison du Roi. En 1658 le maréchal vend l’Hôtel aux consuls d’Agen.
L’Hôtel s’élève entre deux cours, l’une donnant sur la rue des juifs, l’autre sur la place Monrevel et est encadré à gauche par le Théâtre et à droite par l’hôtel de Vaurs. La partie de droite de l’hôtel d’Estrade est cédé au Musée tandis que la partie de gauche est démolie en 1869 pour donner jour à la rue Molière qui relie la place de la Mairie à la rue des juifs dégageant ainsi le Théâtre.

L’Hôtel de Vaurs, ancienne maison médiévale est modernisée par Jacques de Vaurs au début du XVIe siècle, famille de riche bourgeois dont les membres furent plusieurs fois consuls. L’Hôtel est vendu en1566 à un riche négociant, Géraud Michel, dit Ferron, puis passe aux familles Montméjan et Lescale de Véronne, héritier de scaliger.

La municipalité achète l’hôtel en 1765 pour en faire une prison. Cette occupation durera jusqu’a la construction de la nouvelle prison en 1854.

L’Hôtel de Vaurs est une construction en L avec sa façade principale en pierre de taille avec un portail monumental rue des juifs. Un bel escalier dont la vis se dresse en spirale avec ses repos décorés de balustrades et de colonnettes à rosaces.

L’hôtel de Verges situé entre l’hôtel de Vaurs et l’hôtel de Monluc, construit en 1575 par Jehan de Vergès médecin agenais puis par descendance à la famille de Las de Brimont qui le conserve jusqu’au début du XIXe siècle. En 1812 il est transformé en prison pour femme, défigure ses façades et bouleverse ses aménagements intérieurs. L’hôtel est constitué de deux corps de logis qui délimitent une cour intérieure reliés par une galerie abritant un escalier droit. La Façade qui donnait sur la place Esquirol a été caché vers 1880 avec la construction de l’aile Aunac dont le style de la façade copie l’architecture de la renaissance.

 
L’hôtel de Monluc est situé entre l’hôtel Vergès et l’hôtel Vendeaud. La façade sud donne sur la rue Chaudordy avec des fenêtres à arcades datant du XIII eme siècle.

La façade nord avec ses deux tours de grandeurs inégales du XVIe s’ouvre par un portail du XVIII eme siècle sur la rue des Juifs.

Le Maréchal Blaise de Monluc a acheté en 1563 ce château à la reine d’Ecosse, Marie Stuart nièce de la famille des Guises et femme de François II, qui l’avait obtenu de son Beau-père Henri II après la mort de Diane de Poitiers sa favorite. A sa mort le Maréchal cède l’hôtel à son fils Jean, évêque de Condom qui le vend par la suite.
Le château de Monluc est en 1694 la propriété des Péciles puis à celle des Coquet pendant la révolution. Vendu sous la restauration aux Goulard, elle appartient en 1900 à Louis Recours conservateur du Musée d’Agen. Au XXème siècle l’Hôtel qui passe de mains en mains appartient à une ligné de Notaires. En 1971 Maître Monbrun de Marsan le vend à la municipalité d’Agen, dont le Maire est le docteur Esquirol, ce qui permet l’extention du Musée.

L’entrée principale du musée en 1876, se situe rue des Juifs. Actuellement l’entrée de l’hôtel d’Estrade place de la Mairie est l’entré principale du Musée d’Agen qui compte aujourd’hui plus de 2 000 œuvres historiques et artistiques. Au début du siècle, il s’est considérablement enrichi par l’arrivée du legs Chaudordy, art espagnol et tableaux de Goya et de la collection des ducs d’Aiguillon, art français du XVIIIeme siècle, issue des saisies révolutionnaires de 1792. Depuis, le Musée n’a cessé de bénéficier d’une politique d’acquisitions, qui en fait un des musées municipaux les plus réputés. De nombreux remaniements ont été opérés, soit pour le rendre plus confortables ou pour le mettre au goût du jour. Peu à peu, les transformations ont modifiés quelque peu l’aspect extérieur de la structure culturelle et artistique. Il est un des musées les plus riches du sud ouest et présente un ensemble de peintures, de sculptures, de meubles et de faïences européennes avec un large panorama de l’art de l’époque de la préhistoire jusqu’au XXème siècle.