L'origine del tempio dedicato a San Giovanni Battista, poi patrono della città, è ancora incerta. La tradizione vuole che sia stato fondato in epoca romana e dedicato al dio Marte. Da questa area provenivano infatti alcuni sarcofagi, oggi nel Museo dell'Opera del Duomo, e la famosa statua di Marte che le cronache medievali ricordano all'imbocco del Ponte Vecchio. Altri sostengono invece che l'edificio fosse il Pretorio e la statua quella di un re barbarico.

Lo stesso Dante dichiarava il suo "bel San Giovanni" (Inferno, canto XIX) edificio romano e classico e in effetti gli scavi dell'ultimo secolo hanno rivelato resti di costruzioni romane sotto il Battistero e sotto il Duomo, sorti nell'area nord-est della prima cerchia di mura. Su queste basi antiche andò certo a poggiare la fondazione del primo San Giovanni, che si può collocare nel IV-V secolo.
Alla costruzione paleocristiana, forse rimaneggiata o completata nei primi decenni del VII secolo durante la dominazione longobarda, appartengono l'impostazione ottagonale, i due ordini inferiori, l'attico e l'imposta della cupola, ovvero la struttura architettonica vera e propria.

La chiesa di San Giovanni entra ufficialmente nella storia il 4 marzo 897, quando il conte palatino Amedeo, inviato dell'Imperatore, siede sotto il portico davanti alla "basilica di San Giovanni Battista" per amministrare la giustizia. In questa data, evidentemente, la chiesa svolgeva funzioni di cattedrale al posto di Santa Reparata.
La seconda data storica è quella del 6 novembre 1059, quando il pontefice fiorentino Niccolò II, appena eletto, riconsacra la basilica, che risulta di nuovo sede vescovile. Questa riconsacrazione presuppone che il tempio sia stato trasformato radicalmente, o forse ricostruito. Di certo fu completata la cupola a otto spicchi, mentre sul lato ovest si collocava un'abside semicircolare per ospitare l'altare: sugli altri lati si aprivano le tre porte. Nel 1113 la chiesa accoglie la sepoltura del vescovo Ranieri.

Solo nel 1128 San Giovanni abbandona per sempre il rango di cattedrale e si riserva quello di Battistero. All'epoca il sacramento veniva amministrato solo due volte l'anno e l'afflusso della popolazione consigliava numerose porte d'accesso. Ricordiamo che nel 1172 "Fiorenza" risulta avere 30.000 abitanti e la nuova cerchia di mura, la quarta, racchiude una superficie almeno doppia rispetto alla terza, costruita da Matilde di Canossa nel 1078.

Negli stessi anni (metà secolo XII) si dà il via al rivestimento esterno del Battistero: un capolavoro di tarsie in marmo bianco di Carrara e verde di Prato, disegnato con gusto geometrico e ritmo classico, prende il posto della pietra arenaria e mostra già quella voglia di delimitazione degli spazi che porterà alla prospettiva rinascimentale.

Il risultato è un prodotto di grande eleganza che bene incarna lo spirito artistico dei fiorentini e costituisce il prototipo dell'architettura romanica cittadina, tanto da servire da modello a Leon Battista Alberti quando, nel 1470, completerà la facciata di Santa Maria Novella. Un cedimento al gusto romanico di Lucca, Pisa e Pistoia sono invece gli otto costoloni angolari rivestiti con marcate strisce verdi e bianche (in origine erano in pietra serena). Da notare anche le finestre, che alternano timpani acuti e semicircolari: un motivo decorativo classico ripetuto per tutto il Rinascimento.

Nella seconda metà dell'XI secolo si provvede al rivestimento marmoreo dell'interno mentre per il nuovo pavimento, anch'esso in marmo, bisogna aspettare il secolo successivo. Nel Duecento l'attenzione per il monumento cresce ancora: oltre a completare il rivestimento esterno si lavora all'abside, che da semicircolare diventa una scarsella quadrata (1202), e si dà il via alla decorazione interna coprendo di mosaici la scarsella (circa 1225-28) e l'intera cupola (circa 1270-1300). Dopo essere stato un cantiere innovativo per quanto riguarda l'architettura, il Battistero diventa così il laboratorio della nuova scuola pittorica fiorentina che da Coppo di Marcovaldo e Cimabue (attivi in San Giovanni) porterà a Giotto.

Nel Trecento si comincia infine a pensare a nuove porte degne del monumento: la prima viene commissionata allo scultore Andrea Pisano, che la esegue fra il 1330 e il 1336, le altre due a Lorenzo Ghiberti, che completa la seconda fra il 1401 e il 1424 e la terza, detta "del Paradiso", fra il 1425 e il 1452. Le sculture sopra ognuna delle porte sono opera del Sansovino (1502, Porta est, o del Paradiso), di Giovan Francesco Rustici (1506-11, Porta nord) e di Vincenzo Danti (1570, Porta sud, che vanta anche stipiti scolpiti nel 1452-62 da Vittorio di Lorenzo Ghiberti).
Ai lati della Porta del Paradiso si trovano due colonne di porfido donate dai pisani ai fiorentini come ringraziamento per l'aiuto militare fornito nel 1117 difendendo Pisa da Lucca mentre la flotta era impegnata alle Baleari contro i mussulmani. Le due colonne sono spezzate, forse in seguito a qualche alluvione, ma una maliziosa tradizione popolare vuole che siano state spedite già rotte e per questo coperte da drappi che le nascondevano: da qui il detto "Fiorentini ciechi e pisani traditori".
Da ricordare, nell'interno, il monumento all'antipapa Giovanni XXIII, eseguito da Donatello e Michelozzo nel 1421-27.