Het oudste gebouw van Breda, een huis met een rijke historie, sinds 1993 de plaats van bibliotheek van de Koninklijke Militaire Academie.
Het Huis van Brecht is een van de hofhuizen, gebouwd rondom een binnentuin, die Breda rijk is. Het huis ontleent zijn naam aan de familie Van Brecht die er in de 16e eeuw heeft gewoond. Het is één van de voorname families die zich kort na 1500, de gouden eeuw van Breda, in de nabijheid van het rijke hof van graaf Hendrik III van Nassau vestigt. Govaert van Brecht die ook het kasteel Bouvigne bezit, koopt het huis omstreeks 1530.
Vervolgens bewonen drie generaties van deze familie het huis in een bijzonder roerige periode uit de Bredase geschiedenis. In 1578 erft Govaerts zoon Jan het huis. Niet veel later, in 1585 gaat door het overlijden van Jan het huis over in handen van zijn nog jonge zoon Jacob. Het beheer komt voorlopig in handen van Jans zuster Anna. Dit zijn de jaren waarin Breda verscheurd wordt door de opstand tegen de centrale regering in Brussel, die het beleid van de fanatiek katholieke Spaanse koning uitvoert. Breda wordt, na de vlucht van Willem van Oranje in 1567 naar Dillenburg gelegen in het huidige Duitsland, door een Spaansgezinde gouverneur bestuurd. Dit is slechts van korte duur. Door een wapenstilstand krijgt Willem Breda in 1576 weer terug, maar een aanval van Spaanse troepen maakt hier vier jaar later al weer een einde aan. Moordend en plunderend trekken de Spaanse troepen door de stad, waarbij zich in de directe nabijheid van het Huis van Brecht heftige straatgevechten afspelen. De familie Van Brecht staat in deze jaren van opstand aan de zijde van de centrale regering. In 1590 blijkt dit de verkeerde keuze, wanneer Prins Maurits, zoon van Willem van Oranje, door middel van de beroemde list met het turfschip weer in Staatse handen komt. Anna en haar neefje Jacob van Brecht ontvluchten de stad en zoeken hun toevlucht in Luik. Hun huis wordt door de nieuwe stadsregering gebruikt als huisvesting voor officieren en later ook voor ambachtslieden. Er wordt zelfs een smidse in ondergebracht. Dat dit het huis niet ten goede komt, is vanzelfsprekend en Anna protesteert fel bij het Bredase stadsbestuur tegen de schade die haar bezit oploopt. Uiteindelijk verkoopt zij in 1605 het familiebezit aan Pieter Leenaert Verhoeven.
Het huwelijk van de dochter van Pieter Verhoeven, Goedlief, brengt het Huis van Brecht in handen van de officiersfamilie Van Broeckhuysen die tot 1719 eigenaar blijft. Hierna wisselen de eigenaren, meestal kooplieden of officieren, elkaar snel op. Bij iedere verkoop stijgt de prijs. Wordt in 1719 nog f 8.910 betaald, in 1792 is dit inmiddels f 13.300 geworden. In de loop van de tijd is het huis namelijk uitgebreid en aanzienlijk verfraaid. Aan het einde van de 18e eeuw breken opnieuw onrustige tijden aan. De Franse Revolutie vindt in 1789 plaats en de idealen van Vrijheid, Gelijkheid en Broederschap wensen de Fransen over Europa te verspreiden, desnoods met geweld. Ook Breda krijgt hiervan zijn deel. De Fransen bezetten de stad in 1793, maar al na enkele maanden moeten ze het veld ruimen. De volgende poging in 1794 heeft echter meer succes. De Fransen blijven tot 1813 de dienst uitmaken en de gevolgen van hun vele veldtochten raken ook Breda. In het kasteel wordt een militair hospitaal ingericht en waarschijnlijk ook in een gedeelte van het Huis van Brecht, dat desondanks particulier eigendom blijft. De laatste eigenaar is de officier van de artillerie Frederik Karel List, die het huis in 1820 koopt. Hij brengt het nog tot Minister van Oorlog (1840-1848). Zes jaar later wordt List door een adjudant van koning Willem I benaderd met een bod omdat door de voorgenomen oprichting van de militaire academie in het kasteel het hospitaal moet verhuizen.
In 1827-1828 vindt de verbouwing van het huis tot garnizoenshospitaal plaats. Er komt een nieuwe vleugel langs de Cingelstraat, zodat het aan de reeds bestaande Oude Lombard aansluit. Van het bestaande oude huis worden de voorgevel, de schuiframen en de trapgevels vernieuwd. Ruim honderdentien jaar, tot 1940, worden de zieken van het garnizoen in het Huis van Brecht bijgestaan en verpleegd door militaire artsen en hospitaalsoldaten. Een van de moeilijkste gezondheidstaken in de 19e eeuw was het voorkomen van de verspreiding van besmettelijke ziekten zoals cholera en de pokken. Ook het bestrijden van geslachtsziekten was een niet onbelangrijk onderdeel van de militaire geneeskunde, die in die tijd zeker niet onderdeed voor de burgergeneeskunde. De hospitaalsoldaten in Breda waren dienstplichtige infanteristen behorend tot het Zesde Regiment Infanterie die een aanvullende opleiding krijgen. Verpleegsters doen pas na 1910 in militaire hospitalen hun intrede. Ook de cadetten maken gebruik van de geneeskundige voorzieningen in het Huis van Brecht of, zoals zij het gebouw noemen, de "Grote Stal". Hier wordt ziekenrapport gehouden en worden cadetten opgenomen die verpleging nodig hebben.
Na de Tweede Wereldoorlog is het Huis Van Brecht als onderdeel van de Koninklijke Militaire Academie voor allerlei doeleinden gebruikt, bijvoorbeeld als legering ten behoeve van de administratieve compagnie en de opslag van uniformen en uitrusting, maar ook de kleermaker, de foerier en de messes van de onderofficieren en de korporaals vinden hier onderdak. In 1952 wordt een tentoonstelling ter gelegenheid van de viering van Breda 700 jaar Oranjestad in het huis ingericht. Koningin Juliana en prins Bernhard vereren deze expositie met hun bezoek. In 1986 krijgt een aantal Bredase kunstenaars gelegenheid in het huis te exposeren. In de loop der jaren raakt het oude gebouw echter in verval, de vernieuwing van de trapgevels in 1952 en het dak in 1959 ten spijt. Een ingrijpende restauratie wordt onontkoombaar, wil men het unieke huis redden. Generaal-majoor Klik, gouverneur van de KMA, verwoordt zelfs in duidelijke termen zijn zorgen om de toekomst van het vervallen Huis van Brecht in zijn openingsrede van het academisch jaar 1981-1982. Toch duurt het nog enkele jaren voordat er iets gebeurt. In 1987 wordt uiteindelijk begonnen met de restauratie onder toezicht van de Dienst Gebouwen Werken en Terreinen van de genie. En in 1988 wordt een begin gemaakt met archeologische onderzoek dat aan de restauratie voorafging. Op 24 november 1993, de 165e verjaardag van de Koninklijke Militaire Academie, kan het Huis van Brecht in oude luister een nieuwe toekomst tegemoet gaan. Een suggestie die reeds in 1977 in de Bredase pers werd geschreven, wordt verwezenlijkt: de plaatsing van de bibliotheek van de KMA in dit historische gebouw.