Budynek ma bardzo długa i ciekawa historie. Wszystko zaczęło się w 1630 r._: kiedy powstał majątek Skruda. Stawy rybne, ziemie w Długiej Kościelnej, dwory – to wszystko należało do ówczesnych właścicieli folwarku.

Na przełomie XIX i XX wieku zbudowany został jeszcze jeden niewielki, lecz urokliwy dworek otoczony parkiem ze stawem i altana. W latach trzydziestych XX w. właścicielem majątku był ks. Zygmunt Kaczyński – poseł na sejm i działacz polityczny w Rządzie RP na Emigracji. Po wybuchu II wojny światowej, ks. Kaczyński przed ostał się zagranicę, zaś nabywcą majątku był dr Stefan Łytkowski – medyk, który na co dzień mieszkał w Warszawie. Pod jego nieobecność gospodarstwem zarządzał zdolny administrator Kużma. To właśnie dzięki niemu majątek Łytkowskich imponująco się rozwinął. Administrator wprowadził bowiem wiele nowoczesnych rozwiązań. Szczególna korzyść przyniosły innowacje w dziedzinie uprawy ziemi_: z których skorzystali również okoliczni chłopi. Pobierali oni od Kużmy nauki dotyczące rolnictwa. Folwark był własnością dr Lytkowskiego do końca II wojny światowej. Później dworek i inne obiekty należały już do Halinowa.