Het 17de eeuwse kasteel van Houtem, met fraai park en dreef, hoorde toe aan de familie de Houtem. Maar het geheel is ouder. Dit prachtige waterslot, een leengoed afhankelijk van het land van Grimbergen, dateert oorspronkelijk van het einde van de 12de eeuw, en werd bewoond door de ridders van Ramesdonck.
Oorspronkelijk vormden de gebouwen een vierkant rond een binnenplein, alles omringt door een slotgracht. De ingangspoort voor het binnenplein, geflankeerd met twee torentjes, is omstreeks 1932 gebouwd. Het smeedijzeren hek aan de ingang van het park is afkomstig van de Brusselse Warande en werd hier ca. 1835 geplaatst.
Sinds 1878 is de familie de Meester eigenaar van het kasteel van Houtem, wiens nakomelingen het tot op heden bewonen.