Nechal jej postavit kníže Bořivoj koncem 9. století pravděpodobně záhy poté, co přesídlil do Prahy z Levého Hradce.
Svůj význam si kostelík držel až do výstavby baziliky sv. Jiří a stavby kostela sv. Víta. V roce 915 v něm byl pohřben kníže Spytihněv I. a záhy jeho manželka.
Ještě v 11. století byl výrazně přestavěn a dnešní zbytky kostela pocházejí právě z této přestavby. Stavba měla tehdy 7,5 m na 6 m a vyvýšenou apsidu, kde se nacházel oltář. Kostel Panny Marie zanikl nejpozději ve 13. století.
Zbytky kostela byly objeveny až při archeologickém průzkumu v 50. letech 20. století. Na místě byla nalezena většina severní části zdiva, zbytky dvou podob oltáře, obou hrobek, základy vítězného oblouku a zbytky předláždění.
Zajímavost:
Kostelík Panny Marie na Pražském hradě je nejstarším pražským kostelem a také první zděnou stavbou v hradním areále.
