De vroegere burcht van Kolmont werd waarschijnlijk in de 12de eeuw gebouwd door Gerard, graaf van Loon. Ze verrees op een deels kunstmatig aangelegde heuvel, strategisch gelegen op de grens tussen het graafschap Loon en het prinsbisdom Luik. In die periode vormde de streek rond Tongeren een belangrijk grensgebied, waar regelmatig spanningen en gewapende conflicten uitbraken tussen beide machtsgebieden.
De versterking van Kolmont maakte deel uit van een reeks kastelen en burchten die de graven van Loon lieten optrekken om hun territorium te verdedigen en hun gezag te versterken. De ligging bood een goed overzicht over de vallei en de toegangswegen naar Tongeren, waardoor het kasteel een belangrijke militaire en symbolische functie had.
In 1489 kwam het tot een hevige belegering door de troepen van de prins-bisschop van Luik. Na een hardnekkige strijd wisten zij de burcht in te nemen. Kort daarna gaf de prins-bisschop bevel tot de ontmanteling van de versterking om hernieuwde militaire activiteit op die plaats te verhinderen. De stenen en bouwmaterialen van de vernielde burcht werden hergebruikt voor de herstelling van de stadsomwalling van Tongeren, die in dezelfde periode schade had opgelopen.
In 1761 schonk prins-bisschop Johan Theodoor van Beieren het domein in erfbezit aan Arnold Christiaan de Bellefroid. De familie Bellefroid zou er enkele generaties later opnieuw nieuw leven in blazen. In het midden van de 19de eeuw liet de familie Bellefroid-Van der Meer, tegenover de ruïne van de oude burcht, een nieuw kasteel optrekken in een statige neo-barokke stijl. Dit nieuwe kasteel werd opgevat als een elegant herenverblijf, omringd door een park en een boomgaard, en vormde een treffend contrast met de ruïnes van de middeleeuwse voorganger.
Via erfenis kwam het domein later in handen van magistraat Armand Claessen. In 1920 liet hij twee identieke zijvleugels aan het hoofdgebouw toevoegen, waarmee het kasteel zijn huidige symmetrische aanzicht kreeg. Nadien werd het bewoond door ridder Erard de Schaetzen, oud-burgemeester van Tongeren, die het domein verder onderhield en het een belangrijke plaats bezorgde in de lokale geschiedenis van de streek.
Vandaag getuigen de resten van de middeleeuwse burcht, samen met het 19de-eeuwse kasteel, van de lange en gelaagde geschiedenis van Kolmont. Het domein vormt een tastbare herinnering aan de tijd van de graven van Loon en aan de evolutie van een militaire vesting tot een landelijk herenverblijf. .