De geschiedenis van het kasteel van Elverdinge gaat terug tot de 12de eeuw, een periode waarin de graven van Vlaanderen hun gezag over het platteland versterkten door de oprichting van feodale heerlijkheden en versterkte residenties. Ook in Elverdinge werd in die context een eerste kasteel opgericht, vermoedelijk een waterburcht die zowel een residentiële als een defensieve functie vervulde. De aanwezigheid van watergrachten bood bescherming en onderstreepte tegelijk het statuut van de heerlijkheid. De vroegste heren van Elverdinge stonden in nauwe relatie tot afstammelingen van de graven van Vlaanderen, wat wijst op het aanzienlijke belang van het domein in de middeleeuwen.
In de loop van de eeuwen evolueerde de heerlijkheid, zowel qua eigendom als qua bebouwing. In 1629 kwam Elverdinge in handen van Adrianus Vander Borcht, die een nieuw kasteel liet optrekken in Vlaamse renaissancestijl. Deze architectuurstijl, gekenmerkt door haar bakstenen gevels, trapgevels en decoratieve elementen, was in de 17de eeuw bijzonder geliefd bij de adel in de Zuidelijke Nederlanden. Het kasteel werd omgeven door brede watergrachten, die niet alleen een verdedigende functie hadden, maar ook een belangrijk statussymbool vormden. De ligging van dit kasteel stemt overeen met de plaats waar zich vandaag het oude klooster bevindt.
Na het geslacht Vander Borcht ging de heerlijkheid over naar een reeks invloedrijke adellijke families, waaronder de families de Bever, de Lichtervelde, de Steenhuyse, de Bethune, d’Ennetières en uiteindelijk de familie de Laubespin. Deze opeenvolgende eigenaars bepaalden gedurende meerdere eeuwen het economische, sociale en bestuurlijke leven van Elverdinge. Hun aanwezigheid liet sporen na in het landschap, de infrastructuur en de ontwikkeling van de lokale gemeenschap.
Een belangrijk keerpunt in de geschiedenis van het domein vond plaats in 1870, toen Victor, markgraaf d’Ennetières, zich in Elverdinge vestigde. Hij breidde zijn bezit aanzienlijk uit door de aankoop van omliggende gronden en liet in datzelfde jaar een nieuw kasteel bouwen, aangepast aan de wooncomforts en representatieve noden van de 19de-eeuwse adel. Victor d’Ennetières onderscheidde zich niet enkel als grootgrondbezitter, maar ook als weldoener van de gemeente. Op eigen kosten financierde hij de vernieuwing van het volledige lokale wegennet, dat in totaal veertien kilometer omvatte. Daarnaast ondersteunde hij de bevolking op sociale en materiële vlak, wat hem de bijnaam “de vader van de armen” opleverde. Onder zijn impuls kende Elverdinge een periode van welvaart en groeide de onderlinge samenhang binnen de gemeenschap.
De Eerste Wereldoorlog betekende een dramatische breuk in deze ontwikkeling. Het kasteel werd tijdens de verwoestende gevechten in de regio volledig vernield. Na de oorlog bleef de site jarenlang een ruïne, tot in 1925 werd begonnen met de heropbouw. Voor het nieuwe kasteel werd gekozen voor een ontwerp in rococostijl, uitgewerkt door de Ieperse architect Jules Coomans. Deze stijl gaf het gebouw een lichter en eleganter karakter, met sierlijke vormen en een verfijndere uitstraling dan zijn voorgangers.
Ook tijdens de Tweede Wereldoorlog bleef het kasteel niet gespaard. Duitse stafofficieren namen er hun intrek, wat na de bevrijding opnieuw herstellingswerken noodzakelijk maakte. Ondanks deze opeenvolgende tegenslagen bleef het domein bewoond en functioneel, een teken van de veerkracht die de geschiedenis van Elverdinge kenmerkt.
Vandaag is het kasteel eigendom van Eric du Cauze de Nazelle en zijn echtgenote Isabelle de Rochechouart de Mortemart, afstammelingen van de familie de Laubespin. Daarmee sluit de huidige eigendom aan bij de lange adellijke traditie van het domein. Het kasteel van Elverdinge vormt zo tot op heden een levendige getuige van bijna negen eeuwen geschiedenis, waarin feodale macht, adellijke continuïteit, oorlog en heropbouw elkaar hebben opgevolgd.