A lo largo del siglo XVIII, las reformas urbanas de la zona obligaron a derribar la ermita de San Antonio en dos ocasiones y construirla de nuevo en otro lugar. Así, la iglesia primitiva, de Churriguera, fue sustituida por otra de Sabatini y ésta, a su vez, por una tercera que ya sería la definitiva.
Desde 1987 el Ayuntamiento de Madrid tiene cedida la custodia de la ermita, con el asesoramiento de la Real Academia de Bellas Artes de San Fernando y Patrimonio Nacional, dueño del monumento.
La decoración al fresco que cubre la cúpula, bóvedas, ábside y pechinas, llena el espacio de vida, luz y color. El conjunto resulta sorprendente y muy original, por la interpretación personalísima que Goya hace del tema y las innovaciones técnicas que introduce.