Oorspronkelijk gebouwd in 1858 in een eclectische stijl met invloeden uit zowel de neo-Lodewijk XV- als de neo-Lodewijk XVI-periodes, onderging het Berlaarhof in 1864 een eerste verbouwing. In 1901 kreeg het zijn definitieve vorm dankzij de beroemde tenor Ernest Van Dijck (1861–1923), die het kasteel tot zijn dood bewoonde. Hij genoot internationale faam als Wagner-vertolker en trad op in de grootste operahuizen ter wereld.
Na Van Dijcks overlijden kwam het domein in handen van ereconsul Ernest Vanderlinden, die er tot zijn dood in 2010 verbleef. Daarna volgde een erfeniskwestie, en het kasteel kwam te koop te staan. Na jaren van leegstand nam de gemeente Berlaar in 2018 het initiatief om het domein aan te kopen.
Vandaag is het omliggende park, beheerd door de vzw Kempens Landschap en de gemeente, publiek toegankelijk. Het kasteel kreeg een maatschappelijke invulling met het woonconcept ‘VillaVip’, een innovatief kleinschalig woonconcept voor mensen met een beperking waarmee het domein opnieuw een betekenisvolle rol speelt in de lokale gemeenschap.