Castillo de Ayora, también llamado Palacio-Fortaleza del Duque del Infantado, se empezó a construir a mediados del siglo XIII, tras la reconquista de Valencia por parte de Jaume I, aprovechando los restos de una construcción árabe anterior.