Es uno de los castillos más bonitos de Segovia, escondido en medio de un frondoso bosque y apartado de núcleos de población. Construcción de estilo mudéjar entre los siglos XIV y XVI, que se remontan a la tentativa del Almanzor de recuperar estas tierras para el Islam. Cuenta la leyenda que fué lugar de reposo de doña Juana la loca después de la muerte de su marido,lo que sí es confirmado es que en el s. XVI alojó entre sus muros a los hijos del rey de Francia (Francisco I) como rehenes, después de la batalla de Pavía(1525).
Fué lugar de señorío perteneciendo entre otros a don Álvaro de Luna, al marqués de Villena, a los Stúñiga y a los duques de Frías. de la rama católica de los Hohenzoller, pasando posteriormente al pintor catalán Josep Galofre. Acaba de celebrarse el centenario del nacimiento del marqués de Quintanar, escritor e ingeniero, el último castellano que hasta última hora mantuvo vigente el destino señorial de la mansión.
Actualmente la propiedad pertenece a la Asociación Cultural Hispano-Mexicana, cuyo destino es lucrativo: actividades culturales, recepciones (incluido el alojamiento), museo.
