La villa divenne proprietà della famiglia Medici nel 1565 dopo la confisca dei beni dei Salviati, a cui la villa apparteneva.
Cosimo I la donò alla figlia Isabella e da questa passò al figlio don Virginio Orsini e poi al figlio di questi, Paolo Giordano Orsini II che nel 1622 la vendette a Maria Maddalena d'Austria, moglie del granduca Cosimo II.
L'arciduchessa ne volle fare la propria residenza per la relativa vicinanza alla corte che all'epoca si trovava a Palazzo Pitti.
La ristrutturazione è opera dell'architetto Giulio Parigi.
Una volta finiti i lavori la villa, il cui nome era in origine Poggio Baroncelli (dal nome della famiglia che ne era proprietaria nel 1400), fu chiamata "del Poggio Imperiale", con editto del 23 maggio 1624.
La fattoria del Poggio Imperiale era invece costituita da sedici poderi e relative case di campagna, acquistati via via negli anni.
La villa mantenne inalterato l'impianto secentesco per tutto il settecento.
Il granduca Pietro Leopoldo la fece totalmente rinnovare con un progetto dell'architetto Gaspare Maria Paoletti.
I lavori, che furono condotti fra il 1766 ed il 1783, compresero la ristrutturazione degli interni secondo il gusto settecentesco (stucchi), la trasformazione dei giardini laterali in cortili circondati da ali dell'edificio, il ridisegno della facciata laterale, e la ristrutturazione della facciata principale che fu lasciata inalterata.
Nel 1807 anche tale facciata fu ridisegnata dall'architetto Giuseppe Cacialli, che rielaborò un progetto dell'architetto Pasquale Poccianti, allievo del Paoletti.
Con Firenze capitale d'Italia la villa fu destinata all'educandato femminile della SS.Annunziata.