El castillo de Zafra y sus alrededores tienen una larga historia. Se han encontrado fragmentos de cerámica de la Edad del Bronce y del Hierro en cavidades de roca y en las cercanías del castillo. Es posible que los romanos ocuparan la roca sobre la que ahora se alza el castillo, ya que se han encontrado restos de estructuras de la época clásica en los terrenos del castillo. Tuvo importancia estratégica para los reinos de Taifas en España, para el Reino de Aragón, Castilla y Señorío De Molina. Paso, al final a manos de los Reyes Católicos. Tras ciertas vicisitudes, perdió importancia estratégica y entró en decadencia. HBO filmó escenas al aire libre para la temporada 6 de su serie de fantasía Juego de Tronos en el castillo. Según su actual propietario, Daniel Antonio Sanz, los productores estaban buscando un sitio remoto y lejos de cualquier edificio. El castillo representa a la Torre de la Alegría en tres episodios de la temporada, Perjuro, Sangre de mi sangre y Vientos de invierno, durante escenas de recuerdos que revelan un secreto del pasado de Ned Stark.