Het kasteel Ter Rivieren is genoemd naar de ridderlijke, later adellijke familie van Rivieren, die haar naam op haar beurt afleidde van de rivier die de slagader was van haar heerlijkheid, de Demer.
Reeds in de 13de eeuw stond op het domein een burcht, pachthof en donjon. Restanten van deze donjon werden in 2006 blootgelegd.
Het huidige kasteel werd in 1880 gebouwd door Oscar Van den Eynde, burgemeester van Gelrode en volksvertegenwoordiger voor de katholieke partij, die het domein verkreeg door erfenis. Bij de Duitse inval in 1914 vluchtte hij met zijn gezin, waarop het kasteel door het Duitse leger werd ingepalmd en beschadigd. Zijn dochter Jacqueline noteerde de dramatische oorlogsgebeurtenissen in haar dagboek. Na het overlijden van kasteelheer Oscar Van den Eynde 1950 ging het kasteel in diverse handen over.