Dès sa naissance, la ville d’Agen est protégée d’un coté par la Garonne et de l’autre par le coteau. Mais pour se développer et commercer, une liaison avec la rive gauche est indispensable. L’instabilité du fleuve et la violence des inondations rendent très difficile la construction d’un pont. Ainsi La Garonne à Agen fut longtemps une rivière sans pont d’autant plus que les gués eux même étaient dangereux. Le roi d’Angleterre, Richard cœur de Lion en 1189 édite règlement et concession pour la construction d’un pont sur la Garonne. Mais au cours du Moyen Age, soit le manque d’argent arrête les travaux, soit les guerres incessantes entraînent la destruction stratégique, soit les inondations détruisent le tablier en bois ,la construction reste inachevée. Cette situation perdure jusqu’au XIXème siècle.

Napoléon en 1808, de retour de Bayonne avec l’impératrice s’arrête à Agen et signe un décret pour la construction de ce fameux pont. Les travaux préparatoires commencent en 1811 et la première pierre est posée en 1812. Par décret de 1813; il est décidé que le pont serait construit intégralement en pierre à cause de la rareté du bois. La construction de la première pile est achevée en juin 1813 Hélas les crues de la Garonne de septembre et octobre 1813 occasionnent des dégâts et des interruptions de travaux. La construction se heurte à de nombreuses difficultés et la lenteur des travaux entraîne la résiliation du contrat le 18 novembre 1814. Le gouvernement de Louis XVIII met alors les travaux en régie mais en février 1815. Ils sont de nouveau interrompus par manque d’argent. Les ponts et chaussées reprennent les travaux en septembre 1816 pour la construction de la deuxième pile, mais arrêt des travaux pour des raisons financières. Les travaux arrêtés plusieurs fois pour différentes causes, sont relancés très activement en mai 1822. Fin 1822 la quatrième pile est enfin achevée.

Le pont devait avoir 13 arches, mais par l’arrêté ministériel de janvier 1823, le nombre est réduit à 11. Ale fin de cette année 1823, les 5 premières piles sont terminées et 5 autres sont commencées. Fin 1824 les 10 piles sont terminées et les 4 premières arches sont cintrées. A la fin de 1825 toutes les arches sont terminées et le tablier est en cours de pose. Dans le courant de 1826, les travaux sont ralentis par manque de moyens. Cependant les travaux continuent par la pose des corniches, l’achèvement des trottoirs, et le pavage de la chaussée en pierre de Fumel. Le pont est enfin terminé et ouvert au public le 22 mai 1827 le lendemain d’une crue de la Garonne.

Enfin Agen possède un pont dont la solidité peut braver les inondations les plus importantes, ce que démontrera le futur. Avec ses onze arches, le pont mesure 256 m de long, 8,50 m de large et une hauteur de 13 mètres au dessus de l’étiage. Ce pont tant attendue depuis le moyen-âge et dont la construction d’une durée de 15 ans, permet de rejoindre facilement les villes et départements de la rive gauche soit de Nérac, condom, les landes et toute la côte aquitaine.

Le droit de péage qui s’exerce sur le Pont de pierre, du côté de la ville d’Agen, cesse définitivement d’être perçu en 1847.
En 1954 et en 1955 la pile numéro 2 est consolidée et fin 1956 le pont est élargit et passe à 10m avec une chaussée portée à 7 mètres avec des trottoirs de 1,50m, un parapet et un bel éclairage qui fait la fierté des Agenais.

Le pont est reconstruit avec 4 piles et 5 travées et a été réalisé en béton en 1970 et 1971 ce qui permet le passage à 4 voies de circulation avec une largeur de 24 mètres. Les anciennes piles ont été détruites fin 1971. La circulation des véhicules n’a pas été interrompue pendant les travaux.

En octobre 2010, le pont est aménagé avec la création de 2 voies pour les bus, d’une largeur chacune de 3,50 m. Ces voies seront également ouvertes aux vélos et aux véhicules prioritaires (police, ambulances, taxis…). Il reste toujours quatre voies (2×2), pour traverser le pont.