Il nucleo originale della costruzione era un'ampia torre medioevale da difesa, di proprietà della famiglia Brunelleschi. Qui, nel 1364, i figli di Boccaccio Brunelleschi resistettero con successo agli attacchi dei pisani comandati dal capitano di ventura John Hawkwood, poi entrato nella storia dell'arte grazie ad un affresco di Paolo Uccello nel Duomo di Firenze. In seguito la torre passò agli Strozzi, fino all'esilio di Palla Strozzi ad opera di Cosimo dei Medici (1434).
L'edificio fu confiscato nel 1532 da Alessandro dé Medici, figlio illegittimo di papa Clemente VII e primo duca di Firenze, per essere poi donato da Cosimo I al figlio Ferdinando (1568). All'epoca il complesso era una grande azienda agricola che produceva grano, olio e formaggi. Fu Bernardo Buontalenti che, fra il 1575 e il 1590 circa, si occupò di trasformare la fortezza in una splendida villa, ampliandola e ristrutturandola per farne un luogo di riposo e delizia per il cardinale Ferdinando, succeduto come Granduca nel 1587 al fratello Francesco I.
Il castello turrito, di cui resta il mastio centrale divenuto una torre-belvedere, fu così trasformato in una elegante struttura quadrata, mentre il Tribolo progettava il vasto giardino che oggi ospita una sua fontana ornata da una statua in bronzo del Giambologna: Fiorenza (o Venere) uscente dalle acque (qui trasferita tra il 1739 e il 1760 e proveniente dalla contigua villa di Castello).
Dopo il restauro degli anni scorsi la statua è stata trasferita all'interno della villa. Il parco è un bellissimo esempio di giardino all'italiana, terzo in ordine di progettazione dopo quelli di Castello e di Boboli, disposto su più livelli per sfruttare il pendio irregolare che circonda su tre lati la villa. Ognuno di questi livelli, collegato agli altri da scale,corrisponde a una diversa funzione del giardino. Al piano della villa un prato ornato con vasi di agrumi e statue porta ad una terrazza panoramica sulla città e sull'Arno; seguono il vivaio, circondato da siepi zoomorfe, e il giardino vero e proprio diviso in otto grandi aiuole adibite alla coltivazione di ortaggi e alla sperimentazione bootanica, scienza sempre cara ai Medici.

La parte superiore è tenuta a bosco ornamentale, con sentieri che si intersecano nel verde, laghetti artificiali e una vegetazione disposta secondo particolari artifici prospettici,intesi a mascherare le reali dimensioni della tenuta. È probabile che il completamento del parco cinquecentesco si debba all'architetto Giulio Parigi, che nel 1631-32 era intervenuto sulla villa con opere di consolidamento e abbellimento.
Risalirebbe al Parigi anche il viale di collegamento fra la Petraia e la villa di Castello, che hanno sempre costituito un unico grande complesso terriero. Fulcro monumentale della villa è il cortile a loggiato interno, adorno su due pareti di grottesche tardo-cinquecentesche e affrescato da Baldassarre Franceschini, detto il Volterrano, con i "Fasti" della famiglia Medici e dell'ordine dei Cavalieri di Santo Stefano, istituito da Cosimo I per la difesa dei naviganti contro i pirati.
Lo straordinario programma decorativo, di stile barocco e gusto romano, fu commissionato dal granduca Ferdinando II ed eseguito fra il 1636 e il 1648. Le due piccole cappelle furono invece decorate da Bernardino Poccetti. La villa divenne così un'amena residenza estiva, prima per i Medici e quindi per i Lorena. Ma non solo: fu qui in particolare che nel Seicento tenne la sua corte Don Lorenzo dé Medici, cadetto di Ferdinando I, e nel Settecento il principe Gian Gastone, ultimo granduca mediceo, quando la prematura scomparsa del fratello maggiore lo designò erede al trono.

Nel 1865, con Firenze capitale d'Italia, la Petraia fornì al re Vittorio Emanuele II un luogo preferibile a Palazzo Pitti per la sua privacy: fu infatti la residenza della" bella Rosina", prima amante ufficiale del re poi moglie morganatica e contessa di Mirafiori.
Il palazzo fu ammodernato internamente secondo il gusto del tempo; a quel periodo risale la brutta copertura tipo stazione ferroviaria del celebre cortile interno: un lucernario in ferro e vetro che permise di trasformarlo in salone da ballo, mentre il pavimento in classico cotto toscano veniva ricoperto con stucchi e finto marmo alla moda veneziana. La villa contiene ancora la "salagiochi" del re, con gli antenati dei moderni flippers.
Una nota merita anche la quercia monumentale che sorge accanto all'edificio e che conserva tuttora fra i suoi rami la piccola sala da tè in legno adibita per il re e la sua compagna. Oggi la villa è patrimonio pubblico essendo stata donata dai Savoia allo Stato nel 1919; il parco è accessibile durante il giorno e l'interno è visitabile su richiesta.
Seguendo in discesa Via della Petraia si arriva allo slargo di fronte a Villa Corsini, oggi deposito statale di opere d'arte, ove una lapide ricorda che qui soggiornò Robert Dudley, ricostruttore per conto di Ferdinando II del porto di Livorno. La piccola villa con torre, di fronte, fu invece il luogo ove Carlo Lorenzini, detto "il Collodi", scrisse, ospite del fratello, buonaparte del libro "Pinocchio".