De geschiedenis van het kasteel van Avelgem, traditioneel bekend als de Scheldeburcht, vangt aan in het begin van de 13de eeuw. In 1202 wordt voor het eerst melding gemaakt van een residentiële zetel voor de heren van Avelgem, wat erop wijst dat de heerlijkheid toen reeds een duidelijke bestuurlijke en feodale structuur bezat. Tegen 1269 bestond er nabij de dorpskerk een versterkte burcht, die fungeerde als het politieke, juridische en symbolische centrum van de heerlijkheid. De ligging, dicht bij de Schelde, onderstreepte het strategische belang van de site, zowel voor defensie als voor controle over verkeer en handel langs de rivier.
In de loop van de 15de eeuw kende de heerlijkheid Avelgem een nieuwe bloeiperiode onder het bestuur van Lodewijk van Gruuthuuse, een van de invloedrijkste edellieden van het Bourgondische Vlaanderen. Hij gaf opdracht tot de bouw van een nieuw kasteel, dat de oudere versterking verving en beter aansloot bij de woon- en representatiebehoeften van de laatmiddeleeuwse adel. Dit kasteel combineerde verdedigende elementen met een meer residentieel karakter en bevestigde de status van Avelgem als adellijke machtsbasis binnen de regio.
Tijdens de 16de eeuw werd het kasteel zwaar getroffen door de godsdienstoorlogen die de Zuidelijke Nederlanden teisterden. In deze periode van politieke instabiliteit en religieuze spanningen liep de Scheldeburcht aanzienlijke schade op. Catharina van Brugge, die de heerlijkheid erfde, nam het initiatief om het kasteel te laten herstellen. Dankzij deze ingrepen behield het gebouw zijn functie als adellijke residentie en bleef het een herkenbaar machtscentrum binnen het dorp, ondanks de woelige omstandigheden van de tijd.
In 1701 kwam het kasteel in handen van de familie d’Ursel, een invloedrijke adellijke dynastie met uitgebreide bezittingen in de Zuidelijke Nederlanden. Voor de familie had Avelgem echter een eerder secundair belang, wat ertoe leidde dat het kasteel tegen het einde van de 18de eeuw steeds minder werd onderhouden. Het verval zette zich geleidelijk door, en delen van het complex raakten onbewoonbaar. Deze neergang weerspiegelt de bredere evolutie waarbij vele feodale residenties hun oorspronkelijke functie verloren in een samenleving die steeds minder door de adel werd gedomineerd.
Tussen 1804 en 1868 werd de Scheldeburcht door de gemeente Avelgem gehuurd en ingericht als gemeentehuis. Hiermee kreeg het gebouw een administratieve functie, die de overgang markeert van adellijk naar publiek gebruik. Uiteindelijk kwam het kasteel via erfenis in handen van de familie Vergauwen, die het domein in 1873 schonk aan het bisdom. Reeds een jaar eerder, in 1872, had het bisdom het Sint-Jan Berchmanscollege opgericht. De school werd ondergebracht in de nog bruikbare vleugels van de voormalige Scheldeburcht, waardoor het gebouw een educatieve bestemming kreeg.
Tijdens de bevrijding van Avelgem in 1918 liep het kasteel schade op door geallieerde beschietingen. De oorlog liet diepe sporen na in het gebouw, dat sindsdien nooit meer volledig werd hersteld. In 1957 werd de noordwestelijke vleugel zonder officiële toelating gesloopt om plaats te maken voor een nieuwe scholenvleugel, een ingreep die het historische geheel verder aantastte en het oorspronkelijke grondplan definitief verstoorde.
Vandaag is enkel de zuidoostelijke vleugel van de Scheldeburcht bewaard gebleven. Dit deel huisvest het plaatselijke conservatorium en vormt een waardevolle, zij het fragmentarische, getuige van de lange en gelaagde geschiedenis van Avelgem. Ondanks de ingrijpende veranderingen en verliezen blijft de Scheldeburcht een belangrijk symbool van het lokale erfgoed, waarin bijna acht eeuwen bestuurlijke, adellijke en maatschappelijke geschiedenis samenkomen.