On rejoint la villa royale qui doit son nom à la localité de Castello, en marchant quelques centaines de mètres en descendant de Petraia et en prenant la Via di Castello. Son appellation semble dériver d'un château d'eau (en latin "castellum") qui faisait partie de l'aqueduc romain, et fut ensuite utilisé comme source pour la fontaine et les jeux d'eaux du parc et qui est aujourd'hui enfoui sous l'esplanade en face de la villa.
La construction primitive du XIVè siècle, dite " il Vivaio" (la pépinière), passa entre plusieurs mains jusqu'à être acquise par la branche cadette des Médicis, dont le membre principal était Lorenzo dit "Le Grand" (1395-1440), petit frère de Cosme Le Grand. Ce fut finalement un autre Médicis, dit "le jeune", fils de Pier Francesco et donc petit-fils du fondateur, qui acquit la propriété en 1447.
Ce fut spécialement pour cette villa et pour ce membre de la famille Médicis, grand cousin de Lorenzo le Magnifique, que Botticelli réalisa les célèbres chef d'oeuvres, aujourd'hui exposés aux musée des Offices: Le Triomphe du Printemps (1477-78) et la Naissance de Vénus (vers 1485), exécutée comme pendant au premier.
Après seulement quelques décennies, la villa fut pillée durant le siège de 1527 lors duquel les Médicis, chassés dans un premier temps, reprirent la tête du gouvernement de la ville et cette fois pour toujours. Mais ce n'est qu'avec le seul survivant de la branche cadette, celle précisément des Médicis di Castello ils revinrent dans la villa. Il s'agissait du duc Cosme I, fils de Giovanni delle Bande Nere, qui avait grandi dans la villa di Castello, à l'abri des intrigues politiques de la ville et du reste de la famille grâce à la providence de sa mère, Maria Salviati.

Particulièrement attaché à ce lieu, Cosme confia la restauration et l'agrandissement de la villa à Vasari. On demanda à Tribolo, rappelé exprès par Jean Bologne en 1537, de faire le plan du jardin

.
C'est là, bien avant les fastueux jardins de Boboli et de Petraia que nacquit la réputation du jardin à l'italienne, devenu ensuite jardin des Médicis. Le programme iconographique fut imaginé par l'historien Benedetto Varchi se basant sur deux thèmes porteurs: la vie de la nature représentée sous forme allégorique et la gloire de la famille Médicis, de Florence et de la Toscane, Tout le jardin fut réalisé en terrasses parallèlement à la colline, avec des grottes, niches, nymphes, statues et fontaines aux jeux d'eau jaillissant par surprise sur la tête ou entre les jambes des visiteurs.

Parmi les oeuvres qui ornent ce parterre, signalons une belle fontaine de Tribolo et de Ammannati représentant Hercule étouffant Antée aisni qu'une statue de l'Hiver (ou janvier) réalisée par Ammannati. On peut encore voir dans une grotte artificielle exécutée dans un style clairement maniériste (vers 1570) un baignoire en forme de sarcophage classique attribuée à Ammannati et surmontée d'animaux exotiques disposés en pyramide comme s'ils sortaient de la roche, et réalisés en divers types de pierre et marbre par Giambologna et son école.

Dans ce projet ambitieux, Tribolo se révéla également être un grand technicien d'oeuvres hydrauliques acheminant dans la ville, avec l'aide de Piero di San Casciano, les eaux de la source voisine de Castellina ainsi que celles provenant de Petraia. A la mort de Tribolo (1550), son oeuvre fut poursuivie par Vasari, puis par Buontalenti, lequel oeuvra à Castello vers 1592 afin d'y restructurer aussi l'édifice, bien que le plan initial ne fût jamais complété: il était prévu d'ajouter de nombreuses autres statues et fontaines ainsi qu'une grande avenue bordée de petits canaux remplis de poissons et écrevisses qui seraient arrivés de l'Arno.

Pendant une certaine période, la célèbre Chimère étrusque trouva refuge dans la villa (aujourd'hui au musée Archéologique), étant donné qu'on pensait que la garder au Palais Vecchio porterait malheur.
La simplicité de la villa, de style quinzième siècle, fait toutefois contrepoids avec le jardin sophistiqué, par sa façade notamment, imposante de par ses dimensions mais simple dans ses lignes architecturales, bien loin du raffinement de la villa de Poggio a Caiano que Giuliano da Sangallo avait imaginée en 1485 pour Lorenzo il Magnifico. Les fresques de Bronzino et de Pontormo qui l'ornaient ont malheureusement été perdues. Ferdinando II chargea Volterrano d'apporter de nouvelles décorations.
La villa, considérée comme une merveille par les visiteurs étrangers jusqu'au XVIè siècle (Montaigne et le botaniste Pierre Belon, qui fit la description de toutes les plantes qu'elle contenait) accueillit Cosme I après sa retraite de la vie publique. Le prince y vit là avec sa seconde femme, Camilla Martelli, et y mourut en 1575. La résidence, très fréquentée par la cour des Médicis du fait de sa situation si proche de la ville, fut également appréciée de la famille de Lorraine: on doit à Pietro Leopoldo les travaux extérieurs d'habillage.
La famille de Savoie préférait elle la villa de Petraia qu'ils donnèrent finalement à l'Etat en 1919.
Aujourd'hui, on peut visiter le jardin la journée, tandis que la villa est depuis 1965 le siège de l'Académie della Crusca, fondée pour la protection de la langue italienne en 1582.