Breda ontstaat in de twaalfde eeuw als kleine nederzetting van boeren en handelaars op de plaats waar de riviertjes de Mark en de Aa samenkomen. Aan het eind van die eeuw wordt bij deze nederzetting een burcht gebouwd. Onder bescherming van deze versterking groeit Breda, gelegen aan de handelsweg tussen Holland en Vlaanderen, langzamerhand uit tot een stadje en verwerft in 1252 stadsrechten.
Jan van Polanen
De hertog van Brabant verkoopt Breda in 1350 aan de Hollandse edelman Jan van Polanen, die van de burcht een sterk kasteel maakt met een gracht en vier zware hoektorens. Het bouwwerk wordt in de verdedigingswerken van de stad ingepast. Het geslacht Van Polanen sterft echter in de mannelijke lijn uit. Jans kleindochter Johanna trouwt in 1403 met de Duitse edelman Engelbrecht van Nassau en hierdoor komt Breda en het kasteel in handen van deze voorname familie. Voor de geschiedenis van Breda en voor die van Nederland is dit een huwelijk met verstrekkende gevolgen: het is het begin van de band tussen Nederland en (Oranje-)Nassau. Onder Engelbrechts zoon Jan IV van Nassau wordt het burcht-complex kort na 1460 ingrijpend vergroot. Hij laat de Rekenkamer bouwen, waar de uitgestrekte bezittingen van de Nassaus in de Nederlanden worden geadministreerd. Ook de nog bestaande Nassautoren dateert uit die tijd. Zijn achterneef Hendrik III van Nassau drukt echter zijn stempel nog zwaarder op kasteel en stad. Onder deze Henricus vertrouweling van keizer Karel V en stadhouder van Holland, Zeeland en Utrecht, beleeft Breda in de jaren 1500-1540 haar Gouden Eeuw. Hendrik onderneemt voor de Duitse keizer verschillende diplomatieke missies naar Zuid-Europa. Daar komt hij in contact met de kunst en cultuur van de Renaissance. Geleerden en kunstenaars die Hendrik daar ontmoet, nodigt hij uit naar Breda. De stad groeit hierdoor uit tot een cultureel centrum van internationale allure. Tastbare gevolgen hiervan zijn ondermeer vernieuwde vestingwerken rondom de stad, geheel volgens de nieuwste Italiaanse ontwikkelingen. De Granaat- en Duiventoren zijn hiervan de laatste nog bestaande delen. Bovendien kan Hendrik, een vermogend man na drie huwelijken met rijke erfgenamen, zijn kasteel tot een prachtig Renaissancepaleis laten verbouwen. Zijn derde echtgenote Mencia de Mendoza is hierbij zijn grote inspirator. Hendrik huurt voor deze verbouwing de Italiaanse architect Thomas Vincidor de Bologna in. Een centrale plaats in dit paleis vormt de rechthoekige binnen plaats met Dorische zuilen. Via een rijk geornamenteerde trap is, vanaf de binnenplaats, de Ridderzaal op de eerste verdieping te bereiken. Hendrik heeft de voltooiing van zijn paleis niet meer mogen meemaken. Hij sterft in 1538 en wordt opgevolgd door zijn zoon uit zijn tweede huwelijk, René van Chalon. Deze verfraait het paleis nog verder met een hofkapel. René overlijdt kinderloos in 1544. Breda en alle andere bezittingen van de Nederlandse Nassaus laat hij na aan zijn Duitse neef Willem, die vanaf dat moment als Willem prins van Oranje, graaf van Nassau door het leven gaat. Voor Breda breekt echter nu een roerige tijd aan die de ontwikkeling van de stad diepgaand zal beïnvloeden: de Tachtigjarige Oorlog (1568-1648). Aanvankelijk lijkt weinig de voorspoed van Breda en de Nassaus te kunnen aantasten. Willem beleeft zijn eerste huwelijksjaren met Anna van Egmond op het kasteel. De leidende rol die hij in de opstand van de Nederlandse gewesten tegen het Spaanse gezag krijgt, verandert echter alles. Zijn bezittingen worden geconfisqueerd in 1567. Willem vlucht hierop naar Duitsland en probeert van daaruit de strijd te leiden. Breda, frontstad tussen het protestantse noorden en het Spaanse katholieke zuiden, wisselt de volgende decennia een aantal malen van eigenaar. Met de welvaart is het definitief gedaan. Breda blijft slechts als grote vesting van belang waardoor de bevolking veel onder militair geweld te lijden heeft. De stad is in 1576 teruggegeven aan Willem en wordt in 1581 veroverd door troepen onder bevel van Claude de Berlaymont heer van Haultepenne voor Spanje. Dit gaat gepaard met straatgevechten, moorden en plunderen.
De list met het Turfschip
In 1590 kan Breda en het kasteel door de list met het Turfschip weer heroverd worden. Zonder twijfel is dit de beroemdste krijgslist uit de Nederlandse geschiedenis. Prins Maurits geeft Charles de Héraugière het bevel om met zeventig soldaten verstopt in het ruim van het turfschip van Adriaan van Bergen vanuit Zevenbergen naar Breda te varen. Aangekomen bij het kasteel wacht de bemanning in de kou van 3 maart om bij duisternis op het juiste moment de wacht te overvallen. Deze bestaat uit Italiaanse huursoldaten die naar verluidt Vastenavond vieren en door het genot van alcohol tot niet veel meer in staat zijn. De overval is dan ook een klinkend succes. Na een korte schermutseling vlucht het gehele Italiaanse garnizoen Breda uit. Maar de Spanjaarden berusten niet in het verlies van deze belangrijke vesting.
In 1624-1625 slaat de Spaanse veldheer Spinola een maandenlang beleg om Breda en hongert de stad uit. Breda moet zich overgeven, maar twaalf jaar later herovert stadhouder Frederik Hendrik Breda opnieuw. Sindsdien is Breda bij het noorden gebleven. Pogingen van de Nassaus om Breda weer enigszins cultureel en economisch te ontwikkelen mislukken.
In 1660 verblijft de Engelse koning Karel II in Ballingschap in Breda.
In de ridderzaal van het kasteel wordt de Vrede van Breda gesloten in 1667, die een einde maakt aan de tweede Engelse oorlog. De Republiek (Nederland) verwerft hierbij Suriname, in ruil voor Nieuw Amsterdam (het huidige New York).
Ook de voltooiing omstreeks 1680 van Hendriks paleis door koning stadhouder Willem III haalt weinig uit. Na diens overlijden (1702) blijft het kasteel - nu Prinsenhof genaamd - wegens een erfeniskwestie (geen nazaat) zelfs tot 1737 gesloten. Willem III had Johan Willem Friso, een nazaat van Jan de Oude (de broer van Willem van Oranje) aangesteld als erfprins, maar zijn voorganger en opa, Frederik Hendrik had bepaald dat zijn fortuin bij geen mannelijke erfopvolger zou overgaan op de familie van zijn oudste dochter Henriëtte. Na jaren kibbelen werd de erfenis uiteindelijk verdeeld. In 1747 werd er overigens toch weer een erfstadhouder aangesteld; Willem IV, de zoon van Johan Willem Friso die ook weer een afstammeling was van Willem van Oranje.
Daarna kan Breda zich verheugen op regelmatig bezoek van de stadhouderlijke familie. Maar de stad komt niet tot verdere ontwikkeling.
In 1795 worden de Nassaus uit Nederland verdreven en wordt hun paleis verbeurd verklaard. In de Franse Tijd (1794 - 1814) wordt het kasteel gebruikt als kazerne en hospitaal. Koning Willem I krijgt in 1816 zijn familiebezit in uitgewoonde staat terug.
Koninklijke Militaire Academie
In 1826 begint een nieuwe periode in de geschiedenis van het kasteel. Willem I besluit een militaire academie in het eerbiedwaardige gebouw te vestigen. Breda ligt in de Verenigde Nederlanden van die dagen - België is immers in 1815 bij het noorden gevoegd - zeer centraal en bovendien is de omgeving uitermate geschikt voor militaire oefeningen. Bij de verbouwing tot academie (1826-1828) gaat helaas veel van het oude Renaissancepaleis verloren.
De hofkapel van René van Chalon, wat de enige nog overgebleven toren van de burcht van Jan van Polanen is, de toegangstrap tot de Ridderzaal op de binnenplaats en de stenen brug voor de Henricuspoort moeten met vele andere 16e eeuwse ornamenten het veld ruimen. De dakkapellen vallen ten offer aan een verhoging van het kasteel met een tweede verdieping. De beide hoektorens worden afgeplat. De eerste cadetten betreden in 1828 het academieterrein. Zij zien een kaal strak gebouw zonder versiering. Pas in de 20e eeuw worden restauraties met enig oog voor de historische waarde uitgevoerd. Deze hebben plaatsgevonden in 1948-1949,1963-1964 en 1979-1986 en 199I-1995. Sindsdien herleeft iets van de glorie van weleer.