Budynek powstał w pierwszej połowie XVI wieku jako wieża rycerska. Stanowi ciekawy przykład budownictwa rezydencjonalno – obronnego na terenie dawnego województwa sandomierskiego.
W pewnym okresie był m.in. rezydencją rodu Tarłów. Z kolei w 1914 roku za namową Henryka Sienkiewicza został odkupiony przez miejscowego proboszcza z zamiarem utworzenia tam szkoły.
O bogatej historii dworu obronnego w Chełmcach opowiadają Cezary Jastrzębski i Robert Szumielewicz.