Il Museo ha sede sul lato nord-est della piazza (al numero 8), in un fabbricato nato per ospitare l'Opera del Duomo, ovvero quell'insieme di amministratori, artisti e operai (scalpellini, marmisti, carpentieri...) che si doveva occupare della costruzione della nuova cattedrale di Santa Maria del Fiore iniziata nel 1296. A tutto soprintendeva (dal 1331 al 1770) l'Arte della Lana, da cui l'Opera prese lo stemma con l'Agnus Dei. Le ingenti spese della basilica venivano sostenute anche attraverso la vendita del legname delle foreste del Casentino, donate all'Opera alla fine del Trecento dal governo della Repubblica fiorentina. L'istituzione aveva dunque bisogno di spazi: non solo per i lavori del cantiere ma anche per ammassare i grandi blocchi di marmo da tagliare e persino le cataste di legno da vendere. Il palazzo attuale fu costruito su un precedente casolare con orti acquistato nel 1400 e confinante con i forni della bottega di Lorenzo Ghiberti (gli stessi dove l'artista fuse le sue Porte di bronzo per il Battistero). Poco lontano, all'angolo con via Ricasoli, era anche la bottega di Donatello.
L'area fu affidata nel 1432 a Filippo Brunelleschi perchè progettasse il nuovo palazzo, ma di questo edificio, più volte rimaneggiato, resta solo il primo cortile, quello davanti all'ingresso del Museo.

Terminata la basilica, l'Opera rimase in vita con il compito di provvedere alla tutela e manutenzione del complesso sacro formato da Duomo, Battistero e Campanile e, dal 1891, aprì al pubblico una parte delle sale trasformandole in Museo (architetto Luigi Del Moro). Qui infatti si era radunata nel corso dei secoli una raccolta di capolavori provenienti dai tre monumenti e anche di memorie storiche sulla fabbrica di Santa Maria del Fiore, come il modellino del Brunelleschi per la cupola, i vari progetti cinque-seicenteschi per la facciata e alcune macchine impiegate nella costruzione (argani, carrelli, canapi...).

Dapprima confluirono nella sede dell'Opera "pezzi" eseguiti per la porta nord del Duomo (detta Porta della Mandorla), come l'Annunciazione di Jacopo della Quercia destinata alla lunetta e sostituita nel 1491 da un mosaico del Ghirlandaio con lo stesso soggetto. Poi arrivarono le sculture di Arnolfo di Cambio, Nanni di Banco e Donatello (fra gli altri) per la facciata originaria di Santa Maria del Fiore, rimasta incompiuta e "smontata" nel 1586 per volere del granduca Francesco I de' Medici. Di Arnolfo si notino in particolare il Bonifacio VIII e la Madonna col Bambino (1296); di Donatello il San Giovanni Evangelista, suo primo capolavoro (1408-15).

Più tardi giunsero le bellissime Cantorie di Donatello (1433-38) e Luca della Robbia (1431-35), eseguite come sopraporta per le due sacrestie del Duomo e demolite nel 1688 per il matrimonio del Gran Principe Ferdinando con Violante di Baviera: fu in questa occasione che si sentì per la prima volta la necessità di non disperdere in altre sedi manufatti tanto preziosi. Giunsero poi le sculture di Baccio Bandinelli, realizzate nel 1547-72 per la recinzione del Coro della cattedrale e "smontate" nel 1842.

Nel nostro secolo, oltre ai due sarcofagi romani che fino al 1971 stavano ai lati della porta sud del Battistero, sono stati ricoverati all'interno del museo i capolavori che venivano via via restaurati: la Maddalena lignea di Donatello (dal Battistero), sedici statue di Donatello (notare il Profeta Abacuc), Andrea Pisano e Nanni di Bartolo (dal campanile), i bassorilievi in marmo di Giotto (?), Andrea Pisano, Alberto Arnoldi e Luca della Robbia (dal campanile) e persino le formelle della Porta del Paradiso del Ghiberti. Bassorilievi, statue e formelle sono stati sostituiti "in loco" da copie.

Dall'interno del Battistero proviene il ricchissimo Altare di San Giovanni: 400 chili d'argento lavorati fra il 1366 e il 1480 da artisti come Michelozzo, Verrocchio, Antonio del Pollaiolo e Bernardo Cennini. Un vero monumento dell'oreficeria fiorentina, metà gotico e metà rinascimentale, commissionato dall'Arte dei Mercanti (o "di Calimala") e costato all'epoca ben 40.000 fiorini d'oro (si pensi che, negli stessi anni, la Porta nord del Ghiberti fu pagata 4.000 fiorini).

Dal Duomo arriva invece la Pietà di Michelangelo (la Maddalena è dell'allievo Tiberio Calcagni), opera a cui il maestro lavorava negli anni 1548-55 pensando di destinarla alla sua cappella funeraria in Santa Maria Maggiore a Roma ma rimasta incompiuta per la cattiva qualità del marmo, già impiegato come capitello del Tempio della Pace. Donata all'amico Francesco Bandini, la statua fu venduta ai granduchi Medici dagli eredi Bandini alla metà del Seicento. Fu collocata dapprima nella cripta di San Lorenzo poi, dal 1721, dietro l'altare maggiore del Duomo e infine, dal 1933, nel transetto sinistro, dove è rimasta fino al 1980.

Come si vede si tratta di una serie di capolavori che offre una panoramica completa dello sviluppo della scultura fiorentina dal Trecento al Cinquecento, ma il Museo espone anche una lunghissima serie di reperti romani utilizzati nella costruzione dei due templi, sculture e bassorilievi di ogni genere e una vasta collezione di arte sacra (reliquiari, croci, cofanetti, pianete, pastorali...). In una apposita sala sono conservati i 58 Corali miniati in uso nella cattedrale fino al 1930: graduali, antifonari e vesperali realizzati su pergamena tra il 1508 e il 1530 ma purtroppo gravemente danneggiati dall'alluvione del 1966.