De heerlijkheid van de familie La Catoire, waaraan het kasteel zijn oorspronkelijke naam ontleent, verschijnt voor het eerst in de archieven in 1265. Deze heerlijkheid was een van de oudste van het burggraafschap Ath. De heerlijkheid kwam 1474 in handen van de familie Solbroecq en in 1591 van de familie Hénin. Op deze gronden vonden in het verleden verschillende belangrijke gebeurtenissen plaats, zoals de slag van Leuze, waarin de troepen van Lodewijk XIV tegenover die van Willem III van Oranje stonden.
In 1688 werd Jean-François Boele eigenaar en begon in 1703 met de bouw van het huidige kasteel in Lodewijk XIV stijl. Enkele jaren later werd het kasteel de residentie van markies Jean-François du Chasteler, hij stierf op het kasteel van la Cattoire op 24 augustus 1764. In 1825 werd het kasteel aangekocht door graaf Ferdinand-François d'Oultremont. Nazaten van de familie d'Oultremont bewonen nog steeds het kasteel.