L'area in pendio che forma la piazza de' Pitti è chiusa per tre lati dall'abbraccio del Palazzo, che i fiorentini mai hanno voluto chiamare Palazzo Reale per innata propensione all'understatement benchè l'edificio abbia ospitato le varie dinastie regnanti (Medici, Lorena, Borbone, Bonaparte, Savoia) fin da quando, nel 1550, la bella e ricca duchessa Eleonora di Toledo, moglie di Cosimo I, lo acquistò da Buonaccorso Pitti per farne la nuova dimora della famiglia Medici.

Il progetto della costruzione, voluto dal mercante Luca Pitti, prima amico e poi rivale di Cosimo "il Vecchio", risale a Filippo Brunelleschi, a cui il Pitti lo commissionò verso il 1440. Negli stessi anni Cosimo "il Vecchio" faceva realizzare a Michelozzo il Palazzo Medici di via Larga scartando un precedente progetto di Brunelleschi, ritenuto tanto sfarzoso da suscitare l'invidia dei concittadini. Evidentemente il Pitti non aveva le stesse remore e volle per sé il più geniale architetto del tempo ordinandogli anche, secondo la leggenda, di disegnare finestre grandi quanto le porte del Medici e un cortile interno che potesse contenere l'intero palazzo di via Larga.

La struttura del Brunelleschi rispecchia il suo modello di palazzo rinascimentale: un cubo la cui altezza sia pari alla profondità, e rivestito da quel "bugnato rustico" (pietre sfaccettate) tipicamente fiorentino e tratto dalle cave della stessa collina di Boboli. La superficie é suddivisa in tre piani, con tre portali a terreno e sette finestre per lato nei due piani alti. Un balcone attraversa l'intera facciata collegando le finestre mentre, sotto il tetto, viene eretta una loggia di coronamento.