Het Paleis is in 2 fasen gebouwd (2e deel ca 1700) waardoor vlak naast de ingang een bouwovergang was naar het oude slot (gesloopt) van Graaf Jan IV.
In tegenstelling tot de Stadhouderspoort is de Graaf Hendrik III van Nassau poort nog het origineel van uit de bouwtijd (1535), echter alleen het begane grond deel. De bovenbouw is met de komst van de KMA vervangen.
Het Paleis was eerst nog omringd met een slotgracht en was de poort voorzien van een vaste brug. Men moest 4 bruggen passeren om van het Kasteelplein naar de Binnenplaats van het Paleis te komen. Met de komst van de KMA (1826) is de gracht verdwenen en was er een talud naar de ingang. Na WOII is de poort voorzien van een trap.
