Zespół klasztorny powstał najprawdopodobniej w XII w. z fundacji Bolesława Krzywoustego. Po licznych rozbudowach, stanowi on jeden z najciekawszych obiektów architektury sakralnej w Polsce.

W średniowieczu, po dotarciu do tutejszego klasztoru relikwii Drzewa Krzyża Świętego, które dały nazwę klasztorowi i mieszczącej go górze, miejsce to było głównym ośrodkiem kultu religijnego w Polsce. Według tradycji relikwie przywiózł do Polski królewicz węgierski, św. Emeryk. Według podań, w czasie polowania został oślepiony blaskiem od krzyża ulokowanego między rogami jelenia. Gdy odzyskał wzrok, ujrzał anioła, który polecił zostawić relikwie otrzymane od ojca w tutejszym klasztorze. Do miejsca tego pielgrzymowali polscy królowie. Klasztor był wielokrotnie niszczony i plądrowany. Ostatecznie został skasowany w 1819 r. Przez długi czas funkcjonowało tam więzienie, a w okresie II wojny światowej obóz zagłady.

Od 1936 r. gospodarzem obiektu jest Zakon Misjonarzy Oblatów Maryi Niepokalanej, który w 2013 r. wystarał się o status bazyliki mniejszej dla kościoła św. Krzyża. W 2014 r. odbudowano wieżę kościelną, która stanowi doskonały punkt widokowy udostępniony turystom. Gospodarze prowadzą również wystawę, na której możemy zapoznać się z czasami najdawniejszymi tego miejsca, okresem więziennictwa i zniszczeń oraz ze zbiorami przywiezionymi przez misjonarzy z różnych części świata.