Kasteel Gravenhof, gebouwd in opdracht van Baron Le Roy in 1649, bood sinds meer dan twee eeuwen onderdak aan vele prominenten uit de streek.
Vroeger was het kasteel langs alle zijden door water omgeven, en verleende een ophaalbrug toegang tot het kasteel. In de 19de eeuw werden nog vier hoektorens aan het kasteel toegevoegd.
Sinds het vertrek van de laatste graaf uit Dworp, in 1914, zag het kasteel al vele bewoners komen en gaan. Tijdens de Eerste en Tweede Wereldoorlog werd het gebruikt door de Duitsers. Na de bevrijding kwamen er Russische krijgsgevangenen en daarna werd het gebruikt door een Amerikaanse organisatie voor oorlogsweeskinderen. De volgende jaren kwam het Gravenhof meer en meer in verval. Het bleef een aantal jaren onbewoond en bood het eens zo mooie domein met zijn kasteel begrijpelijkerwijze een verwaarloosde aanblik, daar het sinds het begin van de laatste wereldoorlog geen doeltreffend onderhoud kende.
Op 9 augustus 1962 kocht de heer Piet Demol het kasteel met 4,5 ha van het domein van Barones d'Anethan, de overige 18 ha werden aangekocht door de F.I.V.B. te Brussel, die deze oppervlakte verkavelden in 136 bouwloten. Met liefde en kundigheid begon Piet Demol het Gravenhof te restaureren om het kasteel zijn pracht en praal van weleer terug te schenken.
Thans is het Gravenhof een aangepast gebouwencomplex dat dienst doet als hotel, brasserie, seminaries, feesten en banketten.