Im Mittelalter befand sich auf dem Habsberg eine kleine Burg, von der aber nur noch die Zisterne erhalten blieb. Der Ursprung des Wallfahrtsortes geht auf den ersten Kapellenbau (1680) zurück.

Die Quellen bezeugen, dass Johann Panzer, Amtspfleger auf Burg Helfenberg an einem schweren Gichtleiden litt. Von seinem Krankenlager aus blickte er oftmals auf seine Marienfigur und flehte um Hilfe. Eines Nachts vernahm er eine Stimme, die ihn aufforderte, auf dem Habsberg eine Kapelle zu errichten. Panzer ließ sicht dorthin tragen. Er erwarb sich die Kuppe des Berges und ließ 1680/82 eine Kapelle in der Form eines kleinen Zentralbaues errichten. Die Marienfigur wurde als Gnadenbild dorthin gebracht. Panzer erlangte nach der Überlieferung Heilung.

Nach mehreren Heilungswundern entstand 1730 an gleicher Stelle eine größere Kapelle. Die Kirche wurde 1760 im Stil des Rokoko erbaut. Ungebrochen ist die Anziehungskraft des Wallfahrtsortes auf Gläubige und suchende Menschen über die Region hinaus.

1961 wurde ein Wallfahrts- und Jugendheim gebaut. 1976/77 erfolgte der Neubau des Jugendhauses, das dann nach erneutem Um- und Neubau im Jahr 2002 komfortabel und modern neu erstand. Die ebenfalls neu errichtete Gaststätte bewirtet nicht nur das Jugendhaus, sondern auch alle Busgesellschaften und Ausflugsgäste.