Kasteel Stapelen is rond de 13e eeuw gebouwd en heette voorheen de Stapelo, deze naam is in de loop van de tijd verbasterd naar Stapelen.

De acht kantige toren aan de oostzijde stamt uit de Middeleeuwen, evenals de twee torens aan de westkant van het hoofdgebouw en de kapel die zich aan de zuidzijde bevindt.
In deze kapel is nog een altaarstuk uit ongeveer 1600 dat de wapens van de familie Van Horne bevat.

Sinds de 19e eeuw is dit een klooster.