Het goed Ten Berghe vindt zijn oorsprong als oude heerlijkheid en leengoed van de graaf van Vlaanderen en wordt voor het eerst vermeld in een schriftelijke bron uit 1267. Daarmee behoort het domein tot de vroegst gedocumenteerde adellijke goederen in het Brugse Ommeland. Reeds in de middeleeuwen fungeerde Ten Berghe als landelijk bezit met jachtrechten, wat wijst op zijn status en strategische ligging.
Voor 1390 was het goed eigendom van jonkheer Jan Walhier. Hij verkocht het domein aan de familie Van Rooden, die het vermoedelijk verder ontwikkelde als residentieel en jachtgericht landgoed. In deze periode bevond zich op het domein vrijwel zeker een jachthuis of versterkte woning. Tijdens de Vlaamse opstand tegen Maximiliaan van Oostenrijk werd dit gebouw in 1490 verwoest. De brandstichting gebeurde door de troepen van Engelbrecht II van Nassau en maakte deel uit van de wijdverspreide vernielingen die het platteland in deze woelige jaren teisterden.
Op de resten van het verwoeste jachthuis liet Nicolaas Despars (1522–1597), een vooraanstaand politicus en meermaals burgemeester van Brugge, een nieuw, bescheiden kasteel oprichten. Despars, bekend als kroniekschrijver en als invloedrijke figuur in het Brugse stadsbestuur tijdens de zestiende eeuw, gebruikte Ten Berghe als landelijke residentie. Hij vestigde zich er in 1567 en bleef er wonen tot aan zijn overlijden in 1597. Onder zijn bewoning kreeg het domein een duidelijke residentiële functie, los van zijn eerdere militaire of jachtmatige betekenis.
In 1610 ging het goed Ten Berghe via erfenis over op de familie De Croeser de Berges, die het domein gedurende meerdere generaties in bezit hield. In de loop van de daaropvolgende eeuwen bleef het kasteel bewoond en aangepast aan de noden en smaak van zijn eigenaars, zonder dat ingrijpende architecturale veranderingen werden doorgevoerd. Aan het begin van de 19de eeuw kwam het goed in handen van de adellijke familie Van Caloen de Basseghem, die een beslissende invloed zou hebben op het huidige uitzicht van het kasteel.
Onder hun impuls onderging het kasteel een grondige vernieuwing in neogotische stijl. Voor deze ingrijpende verbouwing werd een beroep gedaan op architect Joseph Schadde, een gerenommeerd ontwerper en uitgesproken stijlvirtuoos die bekend stond om zijn historiserende kasteelarchitectuur. Tijdens deze campagne werd niet alleen het hoofdgebouw aangepast, maar werd ook het neerhof volledig afgebroken en heropgebouwd in dezelfde neogotische vormentaal. Hierdoor kreeg het volledige domein een architecturale eenheid die tot op vandaag bewaard bleef.
Aan het begin van de 21ste eeuw kreeg kasteel Ten Berghe een nieuwe bestemming. In de periode 2003–2004 werden omvangrijke sanerings- en restauratiewerken uitgevoerd met het oog op hergebruik als bed and breakfast. Deze ingrepen combineerden hedendaags comfort met respect voor het historische karakter van het gebouw. Vandaag is kasteel Ten Berghe toegankelijk voor gasten die willen verblijven in een historisch kader, midden in het landelijke en cultuurhistorisch waardevolle Brugse Ommeland.