Het kasteel van Annevoie is een van de mooiste voorbeelden van de residentiële kastelen van de Maasvallei. Van op de oever van de Rouillon, een zijrivier van de Maas, torent het kasteel van Annevoie uit boven de Maasvallei. Deze plaats werd duidelijk gekozen omwille van de rust en de schilderachtige pracht van de omgeving.
De geschiedenis van het kasteel van Annevoie schetsen, is tevens de historie vertellen van de familie de Montpellier. Het allereerste begin van Annevoie ligt in 1627. In dat jaar liet de familie de Halloy een kasteeltje oprichten op de heuvel van Annevoie, het was een bescheiden slot in grijze steen van de streek. Dit domein werd in de loop der tijd doorgegeven binnen de familie, en via Marie de Halloy kwam het uiteindelijk in handen van haar man Jean de Montpollier.
In 1758 ontwierp Charles-Alexis de Montpollier, de kleinzoon van de al vermelde Jean, de zo beroemde tuinen, die wijd en zijd tot ver over onze grenzen bekend zijn. Aan de architect Phazelle vertrouwde hij de bouw van het huidige kasteel toe. Het originele slot werd daarbij op ingenieuze wijze opgenomen in de nieuwe constructie, wat bijdroeg aan het harmonieuze karakter van het geheel.