Het domein Hovorst dook al in de 14de eeuw op in de archieven. Rond die tijd bezat Arnoldus de Hoevorst er een leen van de hertog van Brabant. Het betrof hier een hoeve met akkers en weilanden in het gehucht Vierseldijk. Wanneer op deze plek een kasteel verrees, is niet met zekerheid te zeggen. Sommige historici plaatsen de bouw rond 1400, maar harde bewijzen ontbreken.
In 1414 kwam Hovorst in handen van Claus van de Werve de Oude. De Van de Werves behoorden tot de vooraanstaande Antwerpse families die zowel in de stad als op het platteland aanzien genoten. Toch blijft onbekend hoe het kasteel er in die vroege periode uitzag. Pas in de 17de eeuw krijgen we een eerste concreet beeld. In 1618 werd een kaart van het domein opgemaakt, en in 1696 verscheen een ets waarop duidelijk een omwald slot te zien is, bereikbaar via een laan en een ophaalbrug. Het geheel sloot aan bij het beeld van de klassieke waterburchten die in de Kempen en Brabant in die tijd gebruikelijk waren.
De familie Van de Werve houdt Hovorst in bezit tot 1651. Krijgsschulden dwingen de toenmalige eigenaar afstand te doen van het domein. Na een periode van wisselende eigenaars wordt het kasteel in 1802 aangekocht door P.J. de Bruyn. Hij laat het verbouwen in de toen modieuze empirestijl.
Wanneer het domein in 1875 opnieuw wordt verkocht, keert Hovorst terug naar de familie Van de Werve. Augustinus van de Werve laat delen van het oude kasteel afbreken en geeft de opdracht tot een ingrijpende herbouw. Architect Pierre Langerock kleedt het gebouw in een Vlaams-renaissancistisch jasje, waarmee Hovorst zijn huidige, schilderachtige aanblik krijgt.