Le château proprement dit est constitué de deux parties séparées. Le donjon a été construit vers 1395 pour Guy de La Trémoïlle, seigneur de Sully, par Raymond du Temple, architecte du roi. C’est à la fois un bâtiment fortifié, destiné à défendre le pont sur la Loire mais aussi d’apparat, pour organiser les réceptions fastueuses données par le seigneur. Le petit château a été construit quelques décennies plus tard. De taille plus modeste, il sert davantage pour la vie quotidienne du châtelain.