Nel Ducato di Milano, lungo la strada per Monforte, sorgeva nella Parrocchia di San Babila la dimora di cui parla il Marchese Gerolamo Parravicino nel suo testamento del 1497, prima fonte storica a cui sono risalite le ricerche su Palazzo Isimbardi. Si trattava allora di una non vasta ma elegante dimora di campagna, situata fuori dalle mura in una zona che veniva considerata il giardino di Milano, il Viridarium, da cui il nome di via Vivaio. La casa venne rimaneggiata nel corso dei secoli secondo i gusti dei proprietari che vi succedettero: prima il patriziato locale, quindi l'alta borghesia, fino all'acquisizione da parte della Provincia di Milano negli Anni '30 del XX Secolo.