Le culte de la Vierge y remonterait au temps « immémorial », où, selon la légende, la Vierge apparut à des petits pâtres dans la montagne, leur signifiant qu’« elle voulait ici recevoir la louange de son peuple et lui accorder ses bienfaits ».
La chapelle de Notre-Dame d’Estours ou Notre-Dame des Tours date du XIIe siècle, elle fut construite, sur un éperon rocheux dominant une partie des gorges de la Seuge, qui s’écoule en contre-bas.
En 1464, un prieur est nommé à la chapelle d’Estours : le sanctuaire est donc très fréquenté. Son « patronage » passe à la famille d’Apchier. Celle-ci nomme le prieur, le choisit souvent parmi les membres du Collège de Saint Médard de Saugues.
C’est encore aujourd’hui un lieu de pèlerinage.