Op de plaats waar zich tegenwoordig het Hof van Rameyen bevindt, lag in de Romeinse tijd vermoedelijk een castrum, strategisch gesitueerd in de vallei van de Grote Nete. Hoewel tastbare resten schaars zijn, wijzen historische aanwijzingen erop dat het gebied al vroeg een verdedigende functie had.
In de loop van de 13de eeuw ontstond op deze locatie het kasteel dat we nu kennen als het Hof van Rameyen. Het oudste en nog steeds meest herkenbare deel van de waterburcht is de vierkante meester-toren, vaak de donjon genoemd. Deze toren, die diende als laatste toevluchtsoord in tijden van gevaar, is kenmerkend voor middeleeuwse militaire architectuur. Zijn robuuste structuur en beperkte toegangspunten maakten hem tot een bijna onneembare vesting. In de 16de eeuw werden drie slanke ronde hoektorens toegevoegd, waardoor de waterburcht zowel militair als visueel versterkt werd. Deze uitbreidingen tonen de overgang van een puur defensieve functie naar een residentiële en representatieve rol.
Volgens oude documenten was Jan II Berthout, ridder van Berlaar, de vroegst bekende eigenaar. Daarna kwam het domein in handen van de families Van Immerseele en De Cock.
In 1643 verkocht Boudewijn de Cock het Hof van Rameyen aan Nicolaas Rubens, de tweede zoon van de beroemde barokschilder Peter Paul Rubens. De aankoop door de familie Rubens verleende het kasteel extra prestige, mede door hun culturele en maatschappelijke invloed in de Zuidelijke Nederlanden. De familie Rubens bleef eigenaar tot 1759 en zorgde voor het behoud en de uitstraling van het domein gedurende meer dan een eeuw.
Aan het einde van de 18de eeuw werd het Hof van Rameyen eigendom van de familie Le Grelle. Vervolgens kocht Nikolaas-Joseph-Alphonse De Cocq het kasteel en liet hij ingrijpende restauraties uitvoeren. De bepleisterde buitenmuren die hij liet aanbrengen, gaven het kasteel een frisse en elegante aanblik die nog steeds herkenbaar is.
In 1995 kwam het domein in handen van de familie De Gruyter-Janssens, die een grondige renovatie liet uitvoeren door interieurarchitect Axel Vervoordt. In 2015 werd het kasteel gekocht door de Nederlandse ondernemer Leo Van Gansewinkel. Na zijn overlijden in 2019 werd het opnieuw verkocht, en vandaag is het Hof van Rameyen eigendom van de familie Holterman.
Het blijft een van de best bewaarde waterkastelen van Vlaanderen, waarbij elke eigenaar heeft bijgedragen aan het behoud en de uitstraling van dit historisch waardevolle erfgoed.