Le musée se situe au numéro 60 de la Via Ricasoli juste après l’Académie des Beaux Arts. Ce fut Pietro Leopoldo, le plus inspiré des grands-ducs lorrains qui souhaita ce musée: en 1784, il décréta en effet que toutes les écoles de dessin existant à Florence soient réunies en une seule et unique Académie (conservant le nom et le statut inventés par Vasari en 1561) et que cette Académie soit dotée d’une galerie de tableaux anciens afin de faciliter les études des jeunes élèves.
Le siège est le même qu’à l’époque, à savoir dans les bâtiments qui ont un temps appartenu à l’hòpital de San Matteo ainsi qu’au couvent voisin de San Niccolò et où, le grand-duc voulut réunir, outre l’art du dessin, les arts musicaux (aujourd’hui au conservatoire Cherubini) et ceux de la pietre dure (l’Opificio). Elle devint donc une véritable cittadelle d’arts qui occupait et occupe toujours une grande partie de l’aire comprise entre la piazza San Marco, la via Ricasoli, la via degli Alfani, la piazza Santissima Annunziata et la via Battisti.
L’édifice reçut son emplacement définitif en 1935 lorsque fut libéré le portique, précedemment muré, sur la piazza San Marco, que l’on attribue à Brunelleschi ou à Michelozzo mais qui fut en réalité réalisé par un architecte anonyme à la fin du XIVè siècle.
La Galerie de l’Académie et les salles de classe furent imaginées et réagencées en 1781 par Gaspare Maria Paoletti. Dans la première salle, on peut voir le modèle original en plâtre de Giambologna pour la sculpture en marbre du Viol des Sabines (Loggia dei Lanzi) ainsi que des oeuvres de l’école maniériste du 16è.

Ensuite, les Prisons (conçues à l’origine pour la tombeau du Pape Jules II) jouent le ròle de garde d’honneur du David de Michelangelo (1502-4), exposé dans la Tribune au bout de la galerie: disposition lumineuse imaginée à cet effet par l’architecte De Fabris.
Figure héroique et athlétique, destinée à défendre symboliquement la liberté de la République florentine, cette sculpture fut remplacée en 1873 par une copie sur la place della Signora. On peut voir à droite de la très célèbre statue une buste en bronze de Michelangelo par l’élève et ami Daniele da Volterra, dit le Braghettone, après qu’il fut chargé de recouvrir de voile les nus de Michelangelo du Jugement Universel.
Sur les murs sont suspendues des tapisseries flamandes, derrière les Prisons et le St Mathieu de Buonarroti (1505) racontant l’histoire de la Genèse d’après des cartons de Van Orley (1552).
En avançant à droite, on trouve la Piété, dite de Palestrina, oeuvre qui selon beaucoup de critiques ne serait pas de Michelangelo mais de son école. Encore à droite on découvre une série de salles où se trouvent le fameux Cassone Adimari, représentant un élégant cortège nuptial sur la piazza del Duomo, probablement réalisé par Giovanni di ser Giovanni, frère de Masaccio vers 1420, une Vierge à l’enfant attribuée à Boticelli, mais aussi des oeuvres d’artistes florentins et de Perugino.
A gauche, une salle contient une grande collection d’artistes toscans du XIXè. Juste avant la sortie, quelques salles renferment des oeuvres des XIIIè et XIVè siècles, parmi lesquelles beaucoup de tableaux importants des élèves de Giotto: la Maddalena del Maestro omonimo, la Pietà de Giovanni da Milano (1365), les Histoires de St Francis et du Christ de Taddeo Gaddi. Une dernière salle relevée offre une belle collection de peintres bizantins et florentins de la même époque.
Lorsque l’on poursuit vers la via Ricasoli, en direction du Dòme, on rejoint la Piazza delle Belle Arti où se dresse un petit mais notable Musée des instruments de musique du conservatoire Luigi Cherubini (fermé pour cause de restauration).

Encore un peu plus loin, au numéro 78, se trouve le Musée delle Pietre Dure e Mosaici à còté de l’Opificio souhaité par Ferdinand I de Médicis et destiné en premier lieu à créer la fastueuse décoration pour la Chapelle des Princes de San Lorenzo, véritable Panthéon de la famille. Il s’agit bel et bien d’une institution unique au monde fournissant aujourd’hui le matériel et la main d’oeuvre hautement spécialisée pour les travaux originaux et restaurations dans le monde entier. Dans le musée: meubles, tableaux, statues, camaieux, cassettes, objets et marqueteries divers réalisés en marbre et pierres semi-précieuses provenant de tous les continents.