Das ehemalige Benediktinerinnenkloster wurde 976 von Wiltrud, der kinderlosen Witwe des Bayernherzogs Berthold gegründet. Zur Klostergründung erhält die Gründerin einen Partikel des heiligen Kreuzes. 1542 wird das Kloster durch den protestantischen Pfalzgrafen Ottheinrich aufgehoben.
Pfalzgraf Wolfgang Wilhelm übergab das Kloster nach der Rekatholisierung 1635 den Neuburger Jesuiten. Diese bauten die Wallfahrt zum Kreuzpartikel aus und errichteten 1755 die heutige Kirche, die sich in die romanischen Bauteile aus dem 12. Jh. einfügt.
Die Gemeinde feiert im Jahr zwei Kreuzfeste, zu denen viele Wallfahrer anreisen.
In den Glanzzeiten der Wallfahrt (1710 bis 1730) pilgerten bis zu 116 Pfarreien zur Wallfahrt nach Bergen.
Im Jahr 2020 erteilte Bischof Gregor Maria Hanke die Erlaubnis, den in früheren Zeiten bereits gebrauchten Titel "Münster" für die Pfarr- und Wallfahrtskirche wieder zu verwenden.