Ponad dwustuletnia kaplica, wzniesienie z pięknym widokiem na Kielce oraz kamieniołom to sąsiadujące ze sobą atrakcje pomiędzy Kostomłotami Pierwszymi i Drugimi.
Kaplica Przemienienia Pańskiego na Górze Świętego Jana została wybudowana w 1816 roku dzięki staraniom ówczesnego wójta Mikołaja Żaka na koszt gromady kostomłockiej. W okresie Królestwa Kongresowego wieś została pozbawiona prawa do kaplicy przez specjalny ukaz carski. W czasach PRL, gdyby nie okoliczni mieszkańcy, zapewne dziś by jej nie było. Była bliska ruiny. W 2004 roku powstał jednak Komitet Odbudowy Kaplicy pod wezwaniem Przemienienia Pańskiego i obiektów z nią związanych. Przewodniczącym został Marian Korczyński. 200-letnia kaplica została odrestaurowana.
Jednonawowa kapliczka otoczona jest drewnianym ogrodzeniem. Ma formę prostokąta zbliżonego do kwadratu. Zamknięta jest półkolem apsydy, w której znajduje się drewniany ołtarz z wizerunkiem Matki Bożej z Dzieciątkiem. Obraz ten przysłaniany jest ruchomym obrazem Przemienienia Pańskiego. Po bokach apsydy są dwie zakrystie zaś nad kruchtą znajduje się drewniany chór. Przy kaplicy stoi zrekonstruowany krzyż opatrzony oryginalna tablicą żeliwną z 1852 roku.
Kapliczka znajduje się nieopodal szczytu Góry Świętego Jana, która wznosi się na wysokość 274 m n.p.m. Roztaczają się z niej wspaniałe widoki, między innymi na Kielce.
Na zachód od kaplicy, na zboczu wzniesienia, znajduje się natomiast nieczynny kamieniołom Mogiłki, w którym w drugiej połowie XX wieku wydobywano wapienie dewońskie. Ściany kamieniołomu mają do 10 metrów wysokości i prawie 150 metrów długości. Można w nich dostrzec żyły kalcytu i różowego barytu.