Het goed Ten Berghe, ontstaan als oude heerlijkheid en leengoed van de Graaf van Vlaanderen, werd voor het eerst vermeld in een document uit 1267.
Voor 1390 was jonkheer Jan Walhier de eigenaar. Hij verkocht het goed aan de familie Van Rooden. Er bestond toen ongetwijfeld al een jachthuis, dat in 1490 werd platgebrand door de troepen van Engelbrecht II van Nassau tijdens de Vlaamse opstand tegen Maximiliaan van Oostenrijk.
Op die plek bouwde de bekende Brugse burgemeester Nicolaas Despars (1522–1597) een klein kasteel. Hij woonde er van 1567 tot aan zijn dood. In 1610 ging het domein via erfenis over op de familie De Croeser de Berges. In het begin van de 19de eeuw kwam het goed in handen van de familie Van Caloen de Basseghem.
Het kasteel onderging een grondige vernieuwing in neogotische stijl door architect en stijlvirtuoos Joseph Schadde, ontwerper van talrijke kastelen. Tijdens deze verbouwing werd onder meer het neerhof volledig afgebroken en heropgebouwd in dezelfde stijl.
In de periode 2003–2004 werden saneringswerken uitgevoerd aan het volledige kasteel met het oog op de ingebruikname als bed & breakfast. Vandaag kan men er genieten van een verblijf in het prachtige decor van kasteel Ten Berghe, midden in het sfeervolle Brugse Ommeland