Het Hallehof kent een lange en boeiende geschiedenis. De eerste vermelding van het domein, toen nog een eenvoudige hoeve, dateert uit 1625. Niet veel later, in 1633, woonde hier Adriaen Brouwerts, drossaard en baljuw-schout. Hij kreeg van de Infante van Spanje een bijzondere opdracht: onderhandelen met Prins Maurits van Oranje. Het domein groeide in betekenis en in 1738 kwam het in handen van de familie Ulens, die het kasteel de naam “het hoff van der Diest” gaf.
Een nieuw hoofdstuk begon rond 1830, toen baron de Caters het goed verwierf. Hij liet het domein grondig verfraaien, omvormde het tot een echt kasteelpark met hofgracht en hoeves, en schonk het een statige allure. Na zijn overlijden ging het Hallehof over naar de families du Bois de Vroylande en de Borrekens. Baron Victor de Borrekens liet in het begin van de twintigste eeuw het oude gebouw afbreken en bouwde een volledig nieuw kasteel, prachtig gelegen aan de rand van de eeuwenoude vijver.
Na de dood van Victor de Borrekens brak opnieuw een nieuwe fase aan. Het domein werd eigendom van Dr. Oscar Declercq, een arts met vernieuwende ideeën over revalidatie en reumazorg. Onder de naam “Kliniek Ploeghalle” werd het kasteel omgevormd tot een medisch centrum. Gedurende meerdere decennia vonden hier patiënten verzorging en revalidatie, wat het Hallehof een heel andere rol gaf: niet langer als residentie voor de adel, maar als plaats van genezing en zorg.
In 1978 verwierf het gemeentebestuur het kasteel om het tot 2008 als gemeentehuis te gebruiken. Daarna huurde de provincie Antwerpen het pand. Zo kreeg het Natuur- en Landschapshuis van het Regionaal Landschap Voorkempen er een plek. Al die tijd bleef de ridderzaal in gebruik als trouwzaal. Sinds 2015 trok ook de provincie weg uit het Hallehof. Om verkrotting te voorkomen beheert vzw Prevenda het kasteel. Zo kunnen kunstenaars er een poos een aantal ruimtes gebruiken. Om een duurzame invulling voor het Hallehof te vinden en een degelijk onderhoud te verzekeren wordt het kasteel ondertussen in erfpacht gegeven.