Santa Sofia venne inaugurata il 15 febbraio 360, sotto Costanzo II. La chiesa, dalla classica forma di basilica latina con colonnato, aveva il tetto in legno e sorgeva nei pressi del palazzo imperiale in costruzione e vicino si trovava anche la chiesa di Santa Irene, che fino ad allora era servita come principale cattedrale cittadina.
Questa basilica venne distrutta all’inizio del V secolo durante gli scontri tra il patriarca Giovanni Crisostomo e l’imperatrice Elia Eudossia, moglie di Arcadio. La nuova chiesa, sorta della ceneri, venne inaugurata nell’ottobre 415 da Teodosio II e aveva ancora un tetto in legno. Bruciò anch’essa quasi del tutto durante la rivolta di Nika del 532.
Giustiniano diede ordine di ricostruirla, ancora più grande. Venne scelta una forma innovativa, quadrata, con una cupola immensa per l’epoca. Come architetti vennero scelti Isidoro di Mileto e Antemio di Tralle. Vennero usati materiali da ogni angolo dell’impero: colonne ellenistiche dal tempio di Artemide a Efeso, pietre di porfido egiziano, marmo verde della Tessaglia, pietra nera del Bosforo e gialla della Siria. Probabilmente per i calcoli vennero usate le teorie di Erone di Alessandria, per fare in modo che la cupola si mantenesse in posizione.
Giustiniano, quando entrò nella basilica la prima volta il 27 dicembre 537, meravigliato, avrebbe esclamato “Νενίκηκά σε Σολομών” (“Salomone, ti ho superato!”).
L’interno venne ricoperto di mosaici, terminati da Giustino II (565-78). La basilica fu colpita da due terremoti nel 553 e 557, causando danni alla cupola, che crollò in seguito al terzo terremoto, il 7 maggio 558, portando con sè l’ambone, l’altare e il ciborio.
Giustiniano affidò a Isidoro il Giovane, nipote di Isidoro di Mileto, i lavori di restauro: la nuova cupola, più alta di 6,25 m, era più curva e distribuiva meglio il peso, oltre a essere più leggera grazie a materiali meno pesanti. La basilica in questo modo raggiunse l’altezza interna di 55,6 metri. Per celebrare la fine dei lavori, il poeta bizantino Paolo Silenziario compose un poema epico chiamato ἔκϕρασις in cui narrava della riconsacrazione della basilica, presieduta dal patriarca Eutichio il 23 dicembre 562.