Het kasteel Van Duyse werd in 1892 opgericht in opdracht van de Lokerse kurkfabrikant, industrieel en politicus Hendrik Van Duyse. Het gebouw kreeg een opvallend eclectisch karakter en werd ontworpen door de Gentse architect Stéphane Mortier. Voor het exterieur koos hij voor een neotraditionele architectuur in bak- en natuursteen, verrijkt met neogotische elementen. Ook het interieur werd volledig uitgewerkt in neogotische stijl, waardoor het kasteel een bijzonder homogeen en rijk architecturaal karakter kreeg.
In 1907 overleed Hendrik Van Duyse, waarna de kurkfabriek nog enige tijd werd voortgezet onder leiding van zijn zoon Jozef. Door diens beperkte ervaring en de moeilijke omstandigheden waarin het bedrijf terechtkwam, ging de onderneming na het overlijden van Hendrik Van Duyse geleidelijk achteruit. Uiteindelijk werden de activiteiten van de kurkfabriek vóór 1930 stopgezet.
In 1935 verwierf de stad Lokeren het kasteel. Het gebouw kreeg vervolgens een openbare bestemming en werd ingericht als zetel van het vredegerecht, een functie die het historische pand een nieuwe plaats gaf binnen het bestuurlijke en juridische leven van de stad. Van 1936 tot 2010 bleef het gebouw in gebruik als vredegerecht.
In 2004 werden het kasteeltje, het omliggende parkdomein en de Heilig-Hartkapel beschermd als monument. Ondanks de bijzondere historische en architecturale waarde van het domein duurde het nog geruime tijd voordat een definitieve herbestemming werd gevonden.
Toen het kasteel uiteindelijk in handen kwam van de familie Schepens, kreeg het monument een nieuw en bijzonder ambitieus toekomstperspectief. In amper acht maanden tijd liet de familie het Kasteel Van Duyse grondig restaureren en opnieuw in zijn vroegere glorie herstellen. Daarmee kreeg het historische gebouw een nieuwe bestemming, waarbij respect voor het erfgoed en een hedendaagse invulling hand in hand gaan.
Vandaag heeft het kasteel onder de familie Schepens een culinaire bestemming gekregen. In het historische kader van kasteel Van Duyse is restaurant De Zoete Uitspraak gevestigd, waar bezoekers terechtkunnen voor een ontbijt, lunch of een uitgebreid diner. Zo heeft dit opmerkelijke monument opnieuw een levendige functie gekregen en blijft het een waardevol onderdeel van het historische en architecturale erfgoed van Lokeren.