En 1031, des moines bénédictins firent construire une modeste église prieurale ainsi que des bâtiment conventuels.

Prospère aux XIIe et XIIIe siècle, le prieuré est ravagé pendant la guerre de Cent Ans et les guerres de Religion.

La construction de l’église s’est effectuée dans la première moitié du XIIe siècle. De l’époque romane restent la façade, les murs des deux premières travées de la nef et la base du clocher.

Les coupoles ont été remplacées au XVe siècle par des voûtes d’ogives. Seule la partie basse sous le clocher, élevé au Nord de la nef, a conservé sa coupole sous pendentifs. La partie orientale de l’édifice a été entièrement remaniée à partir du XIIIe siècle, les travaux se prolongeant sur le XIVe siècle.

La façade, tripartite, possède au rez-de-chaussée un grand portail, dont les quatre voussures sont sculptées de roses, losanges, motifs végétaux et sur la voussure extérieure prennent place un zodiaque et les travaux des mois.

Des arcades, dont les tympans étaient ornés de sculptures difficilement identifiables aujourd’hui, encadrent le portail.

Au-dessus, l’équilibre des deux niveaux d’arcatures a été rompu par l’adjonction d’une rose flamboyante.

Les bâtiments conventuels des bénédictins ont été endommagés par les guerres successives (guerre de cent ans, guerres de religion).

A la Révolution, le prieuré fut morcelé entre divers occupants et vendu comme bien national.

Situé sur le côté sud de l'église Saint Léger, il subsiste l'immeuble entourant le cloître réédifié au XVIIe siècle, ainsi que les vestiges des voûtes d'arêtes du XVe siècle .

Acquis par la ville de Cognac, ces bâtiments abritent actuellement la Bibliothèque Municipale de Cognac.