Det første Pantheon, eller Agrippas version, der blev bygget i 27 e.Kr. var dedikeret til alle de romerske guder. Templet havde et hedensk præg og blev også brugt til at guddommeliggøre Roms hersker. Efter at flere brande havde ødelagt bygningen, genopbyggede kejser Hadrian den mellem 118-125 e.Kr. Hadrians Pantheon er det, vi ser i dag, komplet med de korintiske søjler, rotunden og kuplen.
I 607 e.Kr. blev Pantheon endelig til den kirke, der stadig er åben for tilbedelse. Pave Bonifatius IV indviede Pantheon som Church of St Mary and the Martyres. De påståede onde ånder, der boede i Pantheon, flygtede angiveligt gennem oculus efter denne ændring i den religiøse orden.
Fra at være et tempel til et kongeligt hof og nu en kirke har Roms Pantheon derfor antaget forskellige identiteter og udviklet sig gennem to årtusinder.