Scendendo dalla Petraia e imboccando la via di Castello, dopo qualche centinaio di metri si giunge alla Villa Reale che prende nome dalla località di Castello. La denominazione sembra che derivi da un serbatoio d'acqua (in latino "castellum") un tempo inglobato nell'acquedotto romano, poi utilizzato come sorgente per le fontane e i giochi d'acqua del parco e oggi interrato nel piazzale antistante la villa.
La primitiva costruzione del '300, detta "il Vivaio", passò attraverso varie mani fino ad essere acquistata dal ramo cadetto dei Medici, quello che faceva capo a Lorenzo detto "il Vecchio" (1395-1440), fratello minore di Cosimo il Vecchio. Fu un altro Lorenzo, detto "il Giovane", figlio di Pier Francesco e quindi nipote del capostipite, che acquistò nel 1477 la tenuta.
E fu proprio per questa villa e per questo Medici, biscugino del Magnifico, che il Botticelli realizzò i celebri capolavori oggi vanto degli Uffizi: il Trionfo della Primavera (1477-78) e la Nascita di Venere (1485 ca.), concepita come pendant del primo.
Passò qualche decennio, la villa subì il saccheggio durante l'assedio del 1527, i Medici prima cacciati tornarono al governo della città, e questa volta per sempre. Ma ci tornarono con l'ultimo sopravvissuto del ramo cadetto, quello appunto detto dei Medici di Castello. Si trattava del duca Cosimo I, figlio di Giovanni delle Bande Nere, che nella villa di Castello era cresciuto, estraneo agli intrighi politici della città e del resto della famiglia grazie alla previdenza della madre, Maria Salviati.

Particolarmente legato a questo luogo, Cosimo affidò restauri ed ampliamenti della villa al Vasari. Il disegno del giardino fu commissionato al Tribolo, appositamente richiamato da Bologna nel 1537.
Fu qui, molto prima dei fasti di Boboli e della Petraia, che nacque la fama del giardino all'italiana, che poi era il giardino alla Medici. Il programma iconografico era stato ideato dallo storico Benedetto Varchi su due temi portanti: la vita della natura rappresentata in forma allegorica e la gloria della famiglia Medici, di Firenze e della Toscana. Il tutto realizzato, salendo a terrazze verso la collina, attraverso grotte, nicchie, ninfei, statue e fontane, con giochi d'acqua che scaturivano a sorpresa sulla testa o fra le gambe dei visitatori.
Fra le opere che lo ornavano sono da segnalare una bella fontana del Tribolo e dell'Ammannati, con Ercole che soffoca Anteo, e una statua dell'Inverno (o Gennaio) realizzata dall'Ammannati. In una grotta artificiale di gusto ormai già pienamente manierista (1570 ca.) è ancora visibile una vasca a forma di sarcofago classico attribuita all'Ammannati e sormontata da animali esotici e non, disposti in forma piramidale come se uscissero dalla roccia ed eseguiti in pietra e marmi diversi dal Giambologna e dalla sua scuola.
In questo progetto ambizioso il Tribolo si rivelò anche grande tecnico di opere idrauliche convogliando nella villa, aiutato da Piero di San Casciano, le acque della vicina sorgente della Castellina e quelle provenienti dalla Petraia. Alla morte del Tribolo (1550) l'opera fu proseguita dal Vasari e poi ancora dal Buontalenti, che operò a Castello verso il 1592 per ristrutturare anche l'edificio, ma il piano iniziale non fu mai compiuto: erano previste numerose altre statue e fontane e un grande viale fiancheggiato da canaletti ricchi di pesci e gamberi che sarebbe arrivato fino all'Arno.

Nella villa trovò anche ospitalità per un certo periodo la famosa Chimera etrusca (oggi al museo Archeologico), dato che si pensava che tenerla in Palazzo Vecchio portasse disgrazia.
Al sofisticato giardino fa da contraltare la semplicità della villa, di carattere quattrocentesco, con una facciata imponente per dimensioni ma semplice nelle linee architettoniche, ben lontana dalla raffinatezza della villa di Poggio a Caiano che Giuliano da Sangallo aveva progettato nel 1485 per Lorenzo il Magnifico. Gli affreschi del Bronzino e del Pontormo che la adornavano sono purtroppo andati perduti. Nuove decorazioni furono affidate da Ferdinando II al Volterrano.
La villa, citata con meraviglia dai viaggiatori stranieri fin dal XVI secolo (Montaigne e il botanico Pierre Belon, che descrisse tutte le piante esotiche che racchiudeva) ospitò Cosimo I dopo il suo ritiro dalla vita pubblica. Qui il principe visse con la seconda moglie, Camilla Martelli, e qui morì nel 1575. La residenza, sempre frequentata dalla corte medicea per la sua posizione così vicina alla città, fu amata anche dai Lorena: ancora a Pietro Leopoldo si devono ulteriori lavori di abbellimento.
I Savoia le preferirono invece la Petraia, e la donarono infine allo Stato nel 1919. Oggi il giardino è accessibile durante il giorno, mentre la villa è dal 1965 sede dell'Accademia della Crusca, fondata nel 1582 per lo studio della lingua italiana.