Ridder Dirc Loef van Horne gaf rond 1357 opdracht tot de bouw van het kasteel. Hij gebruikte het als een woonhuis, van waaruit hij rooftochten kon houden en illegale tol kon heffen.
Na hem kwam het slot in handen van heer van Holland en werd het gebruikt als verdedigingswerk.

Tot na de Belgische Revolutie deed het kasteel dienst als staatsgevangenis, met als bekendste gevangene Hugo de Groot.  De militaire functie werd in 1951 opgeheven.
Van 1925 tot 1986 werd het complex gerestaureerd, momenteel doet het Slot dienst als rijksmuseum en heeft het de status van rijksmonument.