Dwór obronny w Modliszewicach wzniesiony został przez Andrzeja Dunina Modliszewskiego w końcu XVI w., na miejscu wcześniejszego zamku lub dworu Odrowążów z XIV w.
Na początku XVII w. fortalicjum kupił Jan Lipski- późniejszy arcybiskup gnieźnieński i prymas Polski, stąd często używana nazwa-zamek biskupi. Około 1630 r. dobudowano piętrowy budynek bramny, a całość otoczono niewysokim murem obwodowym. Pod koniec XVII w dwór przeszedł w ręce Humięckich, a następnie Małachowskich, którzy dobudowali przylegający do bramy budynek zwany kuźnią.
Kolejnymi właścicielami byli Tarnowscy; nie wnieśli żadnego wkładu w rozwój dworu. W latach 1939-1945 dwór był siedzibą Niemca Fettinga, który grabił okolicę i zmuszał on Polaków do morderczej pracy – został zabity przez AK.
W okresie 1983 – 1990 Wojewódzki Ośrodek Doradztwa Rolniczego odbudował budynek bramny i kuźnię, rozpoczęto odbudowę dworu, lecz prace zostały przerwane z braku środków.
O historii i tajemnicach tego miejsca opowiadali dziś: Ewa Okońska i Ryszard Koziej oraz ich goście: Magdalena Weber, przewodnik świętokrzyski, Jarosław Mostowski, dyrektor Świętokrzyskiego Ośrodka Doradztwa Rolniczego w Modliszewicach oraz Dariusz Kalina, historyk.