leengoed van de heerlijkheid Wassenaar en als zodanig van 1226 tot 1771
ook bewoond door het geslacht Van Wassenaer. Daarna volgde een vererving
via de vrouwelijke lijn en komen de familienamen Torck, Van Neukirchen
(genaamd Nyvenheim), Steengracht en Schimmelpenninck van der Oije voor.
De oudste bekende eigenaar van het kasteel is Philips van Wassenaer
(akte van 1226). Zijn zoon Arent (I) voerde als eerste de achternaam Van
Duvenvoirde', terwijl rond 1600 de oude familienaam Van Wassenaer weer
werd aangenomen. De naam Arent komt tot in de achttiende eeuw in het
geslacht voor. De zoon van Arent I, Floris, en diens zoon, Arent II, zorgden
voor de bouw van de verdedigingsmuur om het kasteel. Arent III werd rond
1343 tot ridder geslagen en de 'Hoekse' Arent IV werd door de overwinnende
Kabeljauwen verbannen. De zoon van Arent IV, Jan I en diens zoon, Arent V,
waren verantwoordelijk voor de verdere uitbreiding van het kasteel. De zoon
van Arent V, Jan II, werd Hoogheemraad van Rijnland en de zoon daar weer
van, Arent VI, was hoveling aan het hof van keizer Karei V en net als zijn
vader Hoogheemraad van Rijnland. Deze Arent VI had geen kinderen en zijn
broer Adriaan, een hooggeplaatst katholiek geestelijke, erfde het kasteel.
En het kasteel in
215