Het huidige Gravenkasteel vindt zijn oorsprong in 1662. In dat jaar gaf baron Jacob Ferdinand de la Pierre de opdracht om, als uitbreiding van het vroegere Hof Ten Damme aan de overkant van de weg, een nieuw kasteel te laten bouwen. Het domein groeide in de 18de eeuw verder uit onder de adellijke familie van de graven van Salm, die er bijna tachtig jaar resideerden en het gebouw zijn huidige benaming schonken.
Na hun vertrek wisselde het kasteel meermaals van eigenaar, tot het in 1895 werd aangekocht door Mathilde Maria Moretus De Bouchout-Geelhand. Zij liet het in 1902 grondig renoveren, waarmee het kasteel opnieuw tot volle glorie werd gebracht. Die heropleving werd echter bruut verstoord in 1914, toen het vanuit het fort van Bornem onder vuur werd genomen. Twee jaar later begon men met een bescheiden heropbouw, die het kasteel opnieuw bewoonbaar maakte.
Een nieuwe wending volgde op 5 oktober 1927, toen het kasteel verkocht werd aan de naamloze vennootschap l’Auxiliaire du Progrès. Vanaf 1963 kreeg het gebouw een geheel andere bestemming: Willy De Maegd huurde het kasteel en richtte er een rustoord in voor bejaarden. Twee jaar later, in 1965, werd het domein door de familie De Maegd aangekocht, waarna in 1968 een bijkomend verpleegtehuis in de tuin werd opgericht.
Het Gravenkasteel en zijn omgeving bleven ook in de 21ste eeuw in gebruik als zorgsite. In 2012 werd het oudere woonzorgcentrum vervangen door een moderne nieuwbouw, beheerd door de groep Armonea. Met zijn tweehonderd kamers, waarvan vele uitkijken op het kasteel en de vijver, vormt het Gravenkasteel nog steeds het hart van een domein dat door de eeuwen heen telkens nieuwe invullingen kreeg, maar altijd zijn bijzondere karakter wist te bewaren.