In de heerlijkheid Hertsberge bevond zich een proosdij van reguliere kanunniken, afhankelijk van de Sint-Calixtusabdij in het Noord-Franse Cysoing. Op deze plek zou reeds in de 9de eeuw een kapel hebben gestaan. Rond het midden van de 16de eeuw werd deze kapel herbouwd, en in die vorm bleef ze tot op vandaag opmerkelijk goed bewaard. In 1796 werd de proosdij tijdens de Franse overheersing opgeheven, en twee jaar later, in 1798, kwam het domein in handen van de familie Veranneman-Pardo.
In het begin van de 19de eeuw, vóór 1829, liet Philip Veranneman op de site een imposant kasteel optrekken in Vlaamse neorenaissancestijl, aansluitend tegen de georiënteerde proosdijkapel. In 1880 werd het kasteel aangekocht door baron Robert Rapaert de Grass, die later de eerste burgemeester van Hertsberge zou worden (1921–1930). Na de bouw van de nieuwe parochiekerk in 1895 verloor de kapel haar functie als kerk voor de lokale gemeenschap.
Tijdens de Eerste Wereldoorlog raakten zowel het kasteel als de voormalige proosdijkapel zwaar beschadigd door beschietingen. Op dringend verzoek van de Koninklijke Commissie voor Monumenten en Landschappen werden beide gebouwen in de jaren 1920 gerestaureerd onder leiding van architect Joseph De Jonghe, in samenwerking met architect Viérin en baron Van Zuylen. Sinds 1990 bevindt het kasteel zich in het bezit van een industriëlenfamilie.