La première trace écrite du château de Silves date du Xe siècle. Al-Razi, historien et géographe le mentionne comme étant le meilleur bourg d’Algarve. Ce fort était la résidence de gouverneurs, de leurs troupes militaires et de fonctionnaires d’administration. Classé Monument National en 1910, le château a fait l’objet de travaux de restauration dans les années 40 et en 2009, il a bénéficié d’un programme de réaménagement intérieur.