Hoog boven de rechteroever van de Lesse, voordat deze in de Maas stroomt, staat op een steile rots het kasteel van Walzin.
Dit arendsnest heeft in de loop van de eeuwen het lagere dal van de rivier, evenals twee toegangswegen naar Dinant vergrendelt. Eerst de loop van de Lesse die te voet kon overgestoken worden op de waadplaatsen, en ten tweede, de chemin du Fond des Vaulx, de enige baan naar Falmagne en Frankrijk. Men is van mening dat de heren van Walzin deze verdedigende positie vanaf dertiende eeuw zouden bezet hebben.
Het kasteel lag op de grens van het prinsdom Luik waarvan de heren van Walzin leenheren waren. De prins-bisschoppen van Luik waren natuurlijk in de onophoudelijke conflicten verwikkeld zoals met Philippe de Goede maar ook met Maximiliaan van Oostenrijk. Dat bracht een eerste golf van vernielingen die bij de oorlogen tussen Keizer Karel en Henri II van Frankrijk voortduurde.
In het begin van de negentiende eeuw restaureerde de markies van Yves het kasteel van Walzin. Zijn nicht erfde het kasteel en verkocht het in 1850 aan Alfred Brugmann die het liet restaureren in een soort Spaans-Vlaamse stijl. In 1930-1932 herbouwde baron Frédéric Brugmann de Walzin het kasteel, nu in Maaslandse stijl en verkreeg het kasteel van Walzin zijn voorkomen zoals het men vandaag de dag kent.