W miejscu gdzie obecnie znajduje się kościół św. Wojciecha stał ponoć posąg Świętowita. Mówi się, że był tu święty Wojciech podążający z Krakowa do Gniezna, ale najdziwniejsze jest, że wędruje też samo miasto!
Żarnowiec, bo o nim mowa, stanowi przykład miasta wędrującego, co oznacza, iż w przeciągu lat zmieniło się jego pierwotne położenie. Początkowo usytuowany był na terenie dzisiejszych Łanów Wielkich, skąd został przeniesiony 3 km w górę rzeki Pilica, gdzie pozostaje do dnia dzisiejszego.
Początki miasta sięgają końca XI wieku, a pisał o nim już Gall Anonim. Miasto upodobali sobie polscy królowie. Na spacer jego ulicami wybrał się na przykład Stanisław August Poniatowski.
Słuchaczy Radia Kielce na spacer po Żarnowcu zabierają w audycji „Moc historii” Cezary Jastrzębski i Robert Szumielewiczem.