Wie vandaag door de lanen van het Vrieselhof wandelt, betreedt een landschap waarvan de geschiedenis teruggaat tot de late middeleeuwen. Rond 1300 verwierf Jan van Vriesele, een edelman uit Kontich, hier een uitgestrekt stuk grond in het toenmalige Oelegem. Hij schonk het domein als bruidsschat aan zijn dochter, waarmee de basis werd gelegd voor een heerlijk hof dat generaties lang in adellijke handen zou blijven.
In de vijftiende eeuw kreeg het domein een duidelijkere juridische en bestuurlijke status. Onder Matheeus van Steenbergen, die het hof midden die eeuw bezat, werd het officieel vermeld als het “hof van Vriesele”. In 1457 verleende hertog Filips de Goede toestemming om er een laathof op te richten. Dat recht gaf het domein een belangrijke plaats binnen de lokale rechtspraak en bevestigde het aanzien van zijn eigenaar. In deze periode ging het nog niet om een kasteel in de huidige betekenis, maar om een versterkt of representatief hof met bijhorende heerlijkheidsrechten.
In de zestiende eeuw kwam het Vrieselhof in handen van de invloedrijke familie Van Halmale. Constantijn van Halmale, een van de bekendste eigenaars, bekleedde hoge functies in Antwerpen als burgemeester en schepen en was bovendien officier in dienst van keizer Karel V. Onder zijn bestuur kende het domein een periode van aanzien en stabiliteit. De familie bleef het Vrieselhof nog tot in de zeventiende eeuw beheren. Tijdens de onrustige oorlogsjaren van die eeuw, waaronder de conflicten die samenhangen met de Tachtigjarige Oorlog, werd het domein echter meermaals getroffen door plunderingen en schade, wat leidde tot een geleidelijke achteruitgang.
Een ingrijpende wending kwam er pas aan het begin van de twintigste eeuw. In 1910 liet graaf Louis de Brouckhoven de Bergeyck het toenmalige kasteel volledig heropbouwen in een neo-Vlaamse-renaissancestijl, waarmee hij aansloot bij de historische vormentaal van de Zuid-Nederlandse adel. Deze herwonnen grandeur was echter van korte duur. In oktober 1914, bij het begin van de Eerste Wereldoorlog, werd het kasteel door Belgische troepen in brand gestoken om te voorkomen dat het in handen van het oprukkende Duitse leger zou vallen.
Tussen 1917 en 1919 verrees opnieuw een kasteel op dezelfde plaats, grotendeels in dezelfde stijl als het gebouw van 1910. Dit derde kasteel bepaalde in grote lijnen het uitzicht dat het Vrieselhof vandaag nog steeds heeft. Sindsdien bleef het domein gespaard van grote verwoestingen. In 1974 verkochten de erfgenamen van graaf de Brouckhoven de Bergeyck het Vrieselhof aan de provincie Antwerpen. Het domein kreeg een publieke functie en werd onder meer ingericht als provinciaal textielmuseum. Vandaag is het Vrieselhof een plaats van rust en ontmoeting. Waar het vroeger een centrum van macht, bestuur en adel was, vervult het nu een maatschappelijke rol als erfgoedlocatie, park en plek voor ceremonies.