Cuenta la Leyenda de Nazaré que el 14 de septiembre de 1182, D. Fuas Roupinho, alcalde del castillo de Puerto de Mós, cazaba junto al litoral, envuelto por una densa niebla, cerca de sus tierras, cuando avistó un venado que de inmediato comenzó a perseguir. El venado se dirigió hacia la cima de un acantilado. D. Fuas, en medio de la niebla, se quedó aislado de sus compañeros. Cuando se dio cuenta estaba en el borde del acantilado, al borde del precipicio, en peligro de muerte. Estaba al lado de una cueva donde se veneraba una imagen de Nuestra Señora con el Niño. Rogó entonces, en voz alta: Señora, ¡Valei-me! De inmediato, milagrosamente, el caballo se detuvo, clavando las patas en el peñasco, suspenso sobre el vacío, el Pico del Milagro, salvándose así el jinete y su montura de una muerte cierta por una caída de más de cien metros.

D. Fuas desmontó y descendió a la cueva para rezar y agradecer el milagro. De seguida mandó a sus compañeros llamar albañiles para construir una capilla sobre la cueva, en memoria del milagro, la Ermita de la Memoria, para ahí ser expuesta a la veneración de los fieles la milagrosa imagen. Antes de cerrar la cueva los albañiles deshicieron el altar allí existente y entre las piedras, inesperadamente, encontraron un cofre en marfil conteniendo algunas reliquias y un pergamino, en el cual se identificaban las reliquias como pertenecientes de Son Brás y Son Bartolomeu y se relataba la historia de la pequeña imagen esculpida en madera, policromada, representando a la Santísima Virgen María sentada en un banco bajo amamantando al Niño Jesús.

Según el pergamino, la imagen habría sido venerada desde los primeros tiempos del cristianismo en Nazaré, en la Galilea, tierra natal de Virgen María. En el siglo V, el monje griego Ciriaco la transportó hasta al monasterio de Cauliniana, cerca de Mérida. Allí permaneció, hasta el 711, año de la batalla de Guadalete, después de la cual desbaratadas por los musulmanes, las fuerzas cristianas huyeron desordenadamente hacia el norte. Cuando la noticia de la derrota llegó la Mérida, los monjes de Cauliniana se prepararon para abandonar el monasterio.

Sin embargo D. Rodrigo, el rey cristiano derrotado, consiguió escapar del campo de batalla y disfrazado de mendigo se refugió de incógnito en Cauliniana. Al confesarse a uno de los monjes, frei Romano, tuvo que decir quién era. El monje le propuso entonces, huir juntos hacia el litoral atlántico y llevar consigo la muy antigua imagen de Nuestra Señora de Nazaré, que se veneraba en el monasterio con fama de muy milagrosa. 

El 22 de noviembre del 711 llegaron a su destino y se instalaron en el monte Seano, hoy Monte de Son Bartolomeu, en una iglesia abandonada que allá encontraron. La existencia de un monasterio en las inmediaciones, la iglesia de Son Gião, debe haber sido un factor determinante para la elección de este destino final de la fuga.

Pasado poco tiempo se separaron para vivir como eremitas. El rey se quedó, el monje llevó consigo la imagen y se instaló, a tres kilómetros del monte, en una pequeña cueva en el tope de un acantilado sobre el mar.

El rey Rodrigo pasado un año decidió abandonar la región. Frei Romano continuó viviendo en la ermita subterránea hasta a su muerte. La sagrada imagen de Nuestra Señora de Nazaré continuó sobre el altar donde el monje la colocó hasta que en 1182 fue cambiada hacia la capilla que D. Fuas mandó construir sobre la cueva. La imagen permanece pues, desde 711-712, en el mismo sitio, el sitio de Nazaré.

En 1377, el rey D. Fernando (1367-1383), debido a la significativa afluencia de peregrinos, mandó construir, cerca de la capilla, una iglesia en la cual fue instalada la imagen de Nuestra Señora de Nazaré, transcurriendo esta denominación, de su lugar de origen, la aldea de Nazaré en la Galilea.

La popularidad de esta devoción en la época de los Descubrimientos era muy grande entre las gentes del mar, y tanto Vasco de la Gamma, antes y tras su primer viaje a la India, como Pedro Álvares Cabral, vinieron en peregrinación al sitio de Nazaré. Entre los muchos peregrinos de la familia Real destacamos, la reina D. Leonor de Austria, tercera mujer del rey D. Manuel I, hermana del emperador Carlos V, futura reina de Francia, que permaneció en el sitio algunos días, en 1519, en un alojamiento de madera construido especialmente para esta ocasión. También S. Francisco Xavier, padre jesuita, el Apóstol de Oriente, vino en peregrinación a Nazaré antes de partir para Goa. Fueron de hecho los Jesuitas portugueses los grandes propagadores de este culto en todos los continentes.