Het domein Scheldevelde vindt zijn oorsprong in de 13de eeuw, toen de Gentse Sint-Pietersabdij er een hoeve oprichtte. Deze abdij was in de middeleeuwen een van de grootste grondbezitters in de regio en beheerde haar domeinen vanuit een netwerk van hoeven en uithoven. De hoeve van Scheldevelde maakte deel uit van dit systeem en werd voornamelijk gebruikt voor de ontginning en exploitatie van het uitgestrekte bos- en heidegebied dat het landschap in deze streek toen domineerde. Ondanks deze vroege oorsprong bleef het domein gedurende eeuwen relatief bescheiden en speelde het slechts een beperkte rol binnen het bredere abdijbezit.
Pas in de tweede helft van de 18de eeuw kwam hierin verandering. In deze periode werd de oorspronkelijke middeleeuwse hoeve gesloopt en vervangen door een landhuis, dat bekend zou worden als het Goed Scheldevelde. Deze transformatie kadert in een bredere evolutie waarbij voormalige landbouwdomeinen werden omgevormd tot residentiële buitenverblijven voor de adel en de gegoede burgerij. Tegelijkertijd werd het domein landschappelijk heringericht. Tussen 1774 en 1777 werden zeven dreven aangelegd die in een strak geometrisch patroon het landhuis met de omliggende gronden verbonden. Deze drevenstructuur, die tot op vandaag grotendeels intact is gebleven, verleende het domein een monumentaal en ordelijk karakter en vormt een van de meest kenmerkende elementen van Scheldevelde.
Tijdens de periode van de Franse overheersing, van 1794 tot 1815, werd het Goed Scheldevelde, net als vele kerkelijke eigendommen, aangeslagen door de bezettende overheid. Het domein werd als nationaal goed verkocht en wisselde in korte tijd verschillende keren van eigenaar. Uiteindelijk kwam het via deze omwegen terecht bij de familie De Potter-Surmont, die het domein een blijvende vorm zou geven.
In 1846 lieten de eigenaars het huidige kasteel optrekken. Het ontwerp werd toevertrouwd aan de Gentse architect Louis Minard, een van de toonaangevende architecten van zijn tijd. Het kasteel werd gebouwd in laat-neoclassicistische stijl, gekenmerkt door een sobere maar monumentale architectuur, met evenwichtige proporties en een duidelijke symmetrie. De voorzijde van het gebouw werd bewust imposant opgevat, zodat zij een sterke visuele indruk maakte op bezoekers die het domein via de dreven betraden. Het kasteel fungeerde als statige residentie, ingebed in een zorgvuldig aangelegd parklandschap.
De laatste private eigenares van het domein was Zoë De Potter, echtgenote van Alfons Borluut. In haar testament van 4 juni 1858 bepaalde zij dat het kasteel en het volledige domein zouden worden geschonken aan het Bureau van Weldadigheid van Nazareth, de rechtsvoorganger van het huidige OCMW. Deze schenking getuigde van een uitgesproken sociale betrokkenheid. Zoë De Potter legde vast dat het kasteel moest dienen als onderkomen voor zes bejaarde mannen en zes bejaarde vrouwen uit De Pinte, die er zouden worden verzorgd door de Zusters van Liefde. Daarmee kreeg het domein een uitgesproken maatschappelijke bestemming, die afweek van zijn eerdere rol als privéresidentie.
Tot op vandaag vervult Scheldevelde deze sociale functie. In het kasteel zijn de diensten van het OCMW van De Pinte ondergebracht, terwijl in het aangrenzende woonzorgcentrum een zestigtal bewoners verblijven. Het park van Scheldevelde bleef behouden als waardevol groen erfgoed en fungeert bovendien als toegangspoort tot de omliggende boskern.