Het huidige kasteel Bloemenoord werd gebouwd tussen 1905 en 1908, in opdracht van Leon van Wint-Carton. Het ging om een gedeeltelijke heraanleg van een ouder landhuis, waarbij gekozen werd voor de neo-Franse renaissancestijl. De Gentse architect L. Morial voorzag het gebouw van decoratieve elementen en een symmetrische opbouw, typerend voor deze stijlperiode.
Tijdens de Tweede Wereldoorlog werd het kasteel bezet door Duitse troepen. In die periode werden enkele beperkte aanpassingen uitgevoerd, waaronder de toevoeging van een uitkijkpost op de toren.
Na de oorlog kwam het domein, inclusief het koetshuis, in handen van de gemeente, die het kasteel inrichtte als gemeentehuis. Het omliggende park werd aangekocht door de broeders Xaverianen, die er een rusthuis bouwden. In 1955 werd het koetshuis, dat tot dan als postkantoor dienstdeed, gesloopt om plaats te maken voor infrastructuurwerken en een parking.
In 1978 kocht de stad het laatste resterende groengebied rond het kasteel, zodat het publiek toegang kreeg tot het domein. Drie jaar later, in 1981, werd een conciërgewoning aangebouwd aan het oorspronkelijke volume. Na de gemeentefusie fungeert het kasteel als administratief centrum van de gemeente en herbergt het een afdeling van de stedelijke bibliotheek.
In 2011 kreeg het kasteel de status van voorlopig beschermd monument, vanwege zijn architecturale en historische waarde.