Esta ermita se construyó sobre los restos del castillo que se encontraba en muy mal estado tras la guerra civil. Es memorable el esfuerzo que hicieron nuestros mayores y vecinos subiendo materiales para su construcción.
Sabemos que durante siglos ha habido un templo religioso en esta ubicación ya que tenemos la solicitud del permiso para construir la primera iglesia de Almonacid dentro del castillo y una solicitud al duque de Híjar para reparar la ermita de la Virgen de las Nieves también llamada del Castillo. Del recuerdo de algunos de esos mayores que ayudaron a construir la actual ermita sabemos que en los últimos años antes de su destrucción había una cueva, ubicada bajo la actual construcción a la que se bajaba por unos peldaños donde estaba una imagen, de pequeño tamaño, de la Virgen de las Nieves, actualmente desaparecida, donde se celebraba su festividad.
Los restos del castillo se utilizaron para rellenar dicha cueva y cimentar encima la actual ermita. También parece ser que se utilizaron para hacer las tapias del actual cementerio.