De heerlijkheid van de familie La Catoire, waaraan het kasteel zijn oorspronkelijke naam ontleent, wordt voor het eerst vermeld in de archieven in 1265. Ze was een van de oudste heerlijkheden binnen het burggraafschap Ath. In 1474 kwam het domein in handen van de familie Solbroecq, en later, in 1591, van de familie Hénin. Op deze gronden vonden in de loop der geschiedenis verschillende belangrijke gebeurtenissen plaats, waaronder de slag bij Leuze, waarin de troepen van Lodewijk XIV tegenover die van Willem III van Oranje stonden.
In 1688 werd Jean-François Boele eigenaar van het landgoed. Hij begon in 1703 met de bouw van het huidige kasteel in Lodewijk XIV-stijl. In 1744 werd het kasteel de residentie van markies Jean-François du Chasteler, die het domein erfde. Onder zijn bewind kreeg de tuin een Franse aanleg en werd deze verfraaid met een grote vijver. De markies overleed op 24 augustus 1764 in het kasteel van La Catoire.
In 1825 werd het kasteel aangekocht door graaf Ferdinand-François d’Oultremont. Hij liet de zijvleugels verbinden met het hoofdgebouw, de muren met cement bekleden en de aangrenzende boerderij haar huidige uiterlijk geven. De tuin werd heringericht in Engelse stijl, die in die periode bijzonder populair was. Tot op vandaag wordt het kasteel nog steeds bewoond door nakomelingen van de familie d’Oultremont.