Al sinds de middeleeuwen stond er in Dave een kasteel, dat fungeerde als residentie van de Heren van Dave. Vanuit dit slot bestuurden zij hun leengoed in naam van de graaf van Namen. Na eeuwen van bewoning en meerdere wissels van eigenaar raakte het kasteel in de 17de eeuw in verval en werd het uiteindelijk een ruïne. Op de oever van de Maas verrees toen een nieuw kasteel: het huidige Château de Dave.
Lang mocht het echter niet ongeschonden blijven. Tijdens de belegering van Namen in 1692 werd het zwaar getroffen door de troepen van Lodewijk XIV. Halverwege de 18de eeuw kwam Dave achtereenvolgens in handen van de families Wignacourt en De Montellano, om uiteindelijk, via een huwelijk in 1800, toe te behoren aan de Spaanse hertog Carlos Guttierez de los Rios, hertog van Fernan-Nuñez.
Onder de hertogen van Fernan-Nuñez kreeg het kasteel in de 19de eeuw zijn huidige vorm. Zij lieten het gebouw grondig verbouwen en uitbreiden, onder meer met de twee torens en een reeks bijgebouwen. Tot vandaag blijft het kasteel eigendom van hun nazaten, waardoor de eeuwenoude band tussen Dave en de familie Fernan-Nuñez bewaard is gebleven.