De Rekenkamer is een van de oudste aanwezige bouwwerken en is omstreeks 1462 gebouwd. Het vormt een stompe hoek met de later gebouwde dikke muur. Dit bouwwerk heeft een open galerij met zeven bogen op de grondverdieping. Bij de restauratie van 1949 zijn zes van de zeven bogen zichtbaar gemaakt. De zevende boog bevindt zich achter de dikke muur van de Egmondgalerij. In de rekenkamer was de Nassause Domeinraad gevestigd, die de domeingoederen van de Nederlandse tak van de Nassaus beheerde. Jan IV bouwt ook de Nassautoren, die dienst doet als trappenhuis voor de rekenkamer. Deze zoon van Johanna van Polanen en Engelbert van Nassau is de eerste Nassau die een bouwwerk heeft gemaakt die nog steeds bestaat. De toren had gebrandschilderde ramen en moet in die tijd een toonbeeld van luxe zijn geweest.