L'enceinte fortifiée construite à l’instigation de Saint Louis à partir de 1230 est flanquée de dix-sept tours à archères érigées avec un appareil alternant schiste et assises de tuffeau. Les tours, dont deux porteries à deux tours, sont hautes d'une trentaine de mètres, larges d'environ dix-huit mètres et reliées entre elles. Une dix-huitième tour, la tour Guillon, démolie en 1832, située en dehors de l'enceinte, vers la Maine, servait à l'approvisionnement du château. Durant la Révolution, les tours ont été rognées. Les remparts d'une longueur d’environ 800 m de long closent une surface de 25 000 m2. Du côté nord, vers la rivière, l’abrupt du plateau est tel que les architectes n’ont pas jugé nécessaire de compléter les défenses.