Důležitým místem náměstí bývala kaple Božího těla, která stávala uprostřed od roku 1393. Byl v ní mimo jiné pochován Jan Kampanus Vodňanský. Za Josefa II. byla zrušena a roku 1784 zbořena.
Kapli Božího těla předcházela věž, v níž byly každý druhý pátek po Velikonocích ukazovány svátosti a říšské korunovační klenoty, na něž se přicházeli podívat návštěvníci nejen mimopražští, ale i z ciziny. Dále na náměstí stála budova vězeňské nemocnice, několik starých domů a tzv. slanečková bouda. V ní se prodávaly sušené ryby, slanečci a sůl. Ještě před svým zbořením posloužila pod názvem Salle romaine 1862 jako prostor, který si pronajímaly artistické skupiny, cirkusy a ochotnické společnosti.
Svůj dnešní název získalo náměstí v polovině 19. století. V téže době také došlo ke zvelebení náměstí. Původně blátivá plocha byla osázena stromy a náměstí bylo zachováno celistvé. Zásluhy má na tom hrabě Karel Chotek. Parkovou úpravu v anglickém slohu dostalo roku 1876 podle plánu architekta Bedřicha Wünschera. Práce vedl přední český zahradník Josef Fiala.
Další úpravy probíhaly v letech 1884 až 1885 podle plánu Františka Thomayera, ředitele pražských zahrad a parků. Ten architektonicky sjednotil obě části náměstí a vysadil obvodové stromořadí, pro nějž vybral odolné jerlíny japonské, duby velkoplodé, javory stříbrné a platany javorolisté. Uprostřed náměstí najdeme platan úctyhodných rozměrů. Je nejstarší ze všech stromů a údajně pochází z předchozí úpravy architekta Wünschera. V parku se nachází kromě travnatých ploch, keřů a květinových záhonů také dvě vodní nádrže.
Po celé ploše parku najdeme celou řadu soch a pomníků. V severní části je osazen pomník Vítězslava Hálka s malou fontánou od Bohuslava Schnircha z 19. století. Před Novoměstskou radnicí se nachází barokní kašna se sochou sv. Josefa od Matouše Jäckela ze 17. století. Zhruba před budovou ČVUT je umístěna socha Elišky Krásnohorské, naproti přes ulici pomník Karoliny Světlé a před kostelem sv. Ignáce pomník Jana Evangelisty Purkyně. Proti Faustovu domu si můžeme prohlédnout pomník botanika Benedikta Roesla.
Náměstí obklopují mnohé významné budovy, jako je již zmíněná Novoměstská radnice, kostel sv. Ignáce z Loyoly, Novoměstská jezuitská kolej, Faustův dům, Palác Charitas, budova ČVUT a novostavba Charles Square Center.
Řada stromů a keřů v parku je již velmi starých, proto se objevovaly úvahy o revitalizaci parku už v 90. letech 20. století. Mezi lety 1995 až 1996 byl zpracován projekt rehabilitace parku a v roce 1998 byla provedena první etapa části u Novoměstské radnice. Další postup byl zatím zastaven.
Zajímavost:
Ačkoli je Karlovo náměstí rozděleno dvěma velkými komunikacemi - Ječnou a Žitnou - je považováno za největší v České republice a jedno z největších v Evropě; navíc s největším počtem plastik. Jeho rozlohu udává Emanuel Poche 80.500 m2 (cca 8 ha). Plocha samotného parku bývá udávána jako je 3,85 ha, s obvodovými chodníky a parkovacími plochami pak 4,63 ha.
