Cette église de la rue Mouffetard était à l’origine une chapelle qui dépendait de l’abbaye Sainte-Geneviève. La reconstruction, qui date du XVe siècle, l’a dotée d’une structure gothique plus large, connue pour ses ambulatoires voûtés et élaborés.
Sa construction a été interrompue pendant les guerres de religions. En 1561, pendant le « Tumulte de Saint-Médard », une dispute entre protestants et catholiques entraîna le saccage de l'église par les protestants. En conséquence, le chœur et les chapelles datent des XVIe et XVIIe siècles.
En 1784, Petit-Radel construit la chapelle de la Vierge et retaille les colonnes du chœur dans un style dorique, pour les adapter aux goûts antiquisants du moment. Le porche est refait à la même époque. Au XIXe siècle, de nombreux aménagements intérieurs et extérieurs sont entrepris dans l'église, notamment le grand cimetière sud transformé en square.