Erigé par les religieux de Sainte Croix de Talmont au cours du XI ème siècle, le prieuré fut pillé pendant les guerres de Religion, restauré par Richelieu, transformé en fort, en corps de garde et poudrière de la fin du XVIII ème à la fin du XIX ème. Dominant l’entrée du port et protégé par deux longues jetées édifiées au XVIIIème siècle, le prieuré flanqué de sept canons du XVIIIème offre une vue superbe sur la baie des Sables d'Olonne