Wat begon als een eenvoudige hoeve in de 8ste eeuw, groeide in 1179 uit tot een strategisch bolwerk in het Maasland en uiteindelijk tot een elegant kasteel. Van de naam Sipernau is pas sprake vanaf 1259. In de 15de en 16de eeuw was ridder Adam van Mopertingen hier de beruchte bewoner. Later kwam het kasteel via huwelijk in handen van de adellijke familie Van Rhoe van Obsinnich.
In 1729 werd het domein eigendom van baron Thomas Cornelis de la Marck de Leur. Hij verwierf in 1741 de heerlijke rechten van Elen en liet de vermoedelijk de oude vervallen burcht vervangen door het huidige kasteel, gebouwd in vroege Engelse neogotiek. Uniek is de symmetrie: voor- en achterzijde zijn identiek. Later werd het gebouw uitgebreid met een toren, een extra verdieping en een neogotische kapel.
Na een periode van leegstand werd het kasteel, in de nasleep van de Tweede Wereldoorlog, verkaveld en overgedragen aan particuliere eigenaars. In de daaropvolgende decennia onderging het noordelijk dienstgebouw een uitbreiding aan de achterzijde, waarbij tevens bijkomende dienstgebouwen werden opgetrokken. Sinds 2005 wordt het kasteel met dienstgebouwen, hoeve en kapel beschermd als monument.