Het kasteel Drie Koningen werd in 1802 gebouwd door baron de Serret van Outryve d’Ydewalle op een terrein dat oorspronkelijk volledig toebehoorde aan de paters karmelieten. Aanvankelijk droeg het de naam Meerberg, een verwijzing naar de oude naburige wijk die reeds in 1469 werd vermeld en naar de heuvel waarop het kasteel verrees. Deze benaming raakte echter in onbruik en werd vervangen door Drie Koningen, ontleend aan een herberg die al in 1565 op het kruispunt van de heirweg stond.
In 1798 kocht kanunnik Jean-Georges van Outryve de gronden, nadat deze tijdens de Franse Revolutie waren aangeslagen en als “Nationaal Goed” openbaar verkocht ten voordele van de Franse staatskas. In 1802 schonk Jean-Georges van Outryve het domein aan zijn schoonbroer Franciscus-Josephus-Joannes, baron de Serret van Outryve, die er het huidige kasteel liet oprichten.
Het gebouw is opgetrokken in zuivere Empirestijl en werd, naar verluidt, deels gebouwd met materialen afkomstig van de verwoeste Sint-Donaaskerk te Brugge. Doorheen de jaren onderging het verschillende renovaties – in 1858, 1871 en 1909 – die bijdroegen aan het behoud van zijn klassieke uitstraling en uitstekende staat.
Na het overlijden van André van Outryve d’Ydewalle in 1940 ging het kasteel via erfenis over naar zijn oudste zoon Hubert. Vandaag wordt het bewoond door diens zoon Raynier Outryve d’Ydewalle