Celý palácový komplex s raně barokní zahradou vyrůstal mezi lety 1623 až 1630 pro vojevůdce císařských armád Albrechta z Valdštejna.
Na tvorbě zahrady se podíleli Giovanni Pieroni, Andrea Spezza a Nicolo Sebregondi. Součástí zahrady je sala terrena, jejíž stěny zdobí fresky a štukatury s motivy z Trojské války. Bohužel však byly fresky poničeny pozdější přemalbou. Oprav se sala terrena dočkala několikrát v letech 1911 až 1912 a v roce 1965. V roce 1938 se v areálu paláce a zahrad konala výstava Pražské baroko.
V zahradě najdeme také umělou krápníkovou jeskyni, tzv. grottu. Ta byla vytvořena stalaktity z vápenného štuku, přičemž jádra krápníků jsou vytvořena ze střešních prejzů. Naproti jeskyni je malý salónek vyzdobený freskou znázorňující báji o Argonautech a zlatém rounu. Dále zde najdeme drátěnou voliéru, v níž bylo chováno exotické ptactvo.
Před salou terrenou se rozprostírá květinový parter s centrální bronzovou fontánou s kopií sochy Venuše s Amorem z konce 16. století. Dnes se jedná pouze o kopii, originál je umístěn v Obrazárně Pražského hradu. Originál byl dokonce odvezen během třicetileté války jako švédská kořist, ale roku 1890 byl navrácen.
Do výzdoby zahrady se významně zapsal nizozemský sochař Adriaen de Vries, který zde tvořil mezi lety 1625 až 1626. Jeho socha Herkula a Najád se nachází například uprostřed umělého jezírka s ostrůvkem, které sloužilo k vyjížďkám na loďkách. Jezírko se později, roku 1816 stalo dokonce dějištěm pokusů vynálezce Josefa Božka s modelem parolodi. Další soubor soch s mytologickým námětem od téhož autora byl rovněž ukořistěn švédskými vojsky a domů už se nikdy nevrátil. V zahradě najdeme jejich kopie z počátku 20. století.
Zahrada byla ve vybrané dny zpřístupněna veřejnosti již koncem 19. století.
Ve 20. století prošla zahrada několika obnovami, při nichž byl mimo jiné i otevřen třetí vchod u stanice metra Malostranská. Poslední kompletní rekonstrukce probíhala v letech 2000 až 2001.
Zajímavost:
Celý areál zabírá plochu 1,7 ha. Pohltil tak Trčkovský palác, 23 domů, 3 velké zahrady a cihelny.
