In 1129 was ‘s-Gravenwezel een heerlijkheid in het marktgraafschap Antwerpen dat deel uitmaakte van het oude hertogdom Brabant. Het hoorde toe aan de heren van Wesele. In 1292 schreef men Wesele, in 1318 Wezel en in 1452 Sgrevenwesele.
Het kasteel, in de volksmond “het hof” genoemd, moet in oorsprong, zoals vele in de omgeving, een waterburcht geweest zijn, getuige de dubbele omgrachting, de ene rond het majestatische gebouw zelf, en de andere rond het omliggende erf.
Het kasteel werd in verschillende fasen gebouwd. De ronde toren stamt uit de 14de eeuw, de oost- en noordgevel zijn dan weer gotiek uit de 15de eeuw. Het barokke poortgebouw werd er in de 17de eeuw neergezet. De zuidzijde werd in de 18de eeuw verbouwd door de beroemde architect, J.B. Van Baurscheit, die in Antwerpen naam maakte met het Koninklijk Paleis en het Osterrieth herenhuis op de Meir.
In de jaren tachtig kocht antiquair, Axel Vervoordt, wereldwijd beroemd om zijn uitgebreide en eclectische kunstverzameling, het kasteel van ’s-Gravenwezel aan. In het vijftig kamers tellende 13de eeuwse kasteel heeft Axel Vervoordt vijftig verschillende ruimtes gecreëerd waar hij zijn topstukken voorstelt. Elke zaal of kamer van het kasteel heeft zijn eigen identiteit.