Het kasteel van Schoten kent een lange geschiedenis die teruggaat tot 1232, toen er op die plaats al sprake was van een hoeve. Deze hoeve groeide in de loop der tijd uit tot een poorterswoning en uiteindelijk tot een volwaardig kasteel.
In 1548 werd het kasteel verwoest door Maarten van Rossem en zijn troepen, die in die periode meerdere kastelen in de regio aanvielen. In 1550 volgde de heropbouw onder leiding van Jan Crombach, toenmalig burgemeester van Antwerpen. Voor zijn verdiensten tijdens de verdediging van de stad tegen de troepen van Van Rossem, ook wel de “Zwerte Maerten” genoemd, werd hij door Keizer Karel tot ridder geslagen.
Na 1564 liet Melchior Schets het ‘hof van plaisantie’ omvormen tot bestuurlijke residentie van de heerlijkheid Schoten. Daarbij kreeg het kasteel grotendeels zijn huidige vorm, met name de vier hoektorens die uit die periode stammen. Door de eeuwen heen onderging het gebouw meerdere aanpassingen en restauraties. Tot aan de Franse Revolutie bleef het kasteel de zetel van de heren van Schoten.
In 1950 werd het kasteel aangekocht door het gemeentebestuur van Schoten. Vijf jaar later werd het ingericht als cultureel centrum, een functie die het tot op vandaag vervuld.