Hoone ajalugu ulatub 1828 aastasse, kui keiser Nikolai I käsul ehitati lossiansambli ümberkorralduste käigus Uus vahimaja (A. Weizenbergi 26 tänavapoolne hoone). Korraldus uue puidust vahimaja projekti koostamiseks koos maja asukoha määramisega pargis anti arhitekt Ch. Meyerile (Christian Filippovitš Meyer). Kahest esitatud projektist valiti odavam. Keiser Nikolai I kinnitas projekti 1. augustil 1828 ja juba 15. novembriks oli maja valmis ning sisustatud.

1990ndail demonteeriti amortiseerunud vahimaja Eesti Kunstimuuseumi algatusel ja ehitati uuesti, võttes aluseks hoone 1828. aasta välisilme, üles juba täiesti uutest materjalidest. Projekteerimise ja ehitusjuhtimise peatöövõtjaks oli AS Laansoo Grupp. Projekti arhitektuurne osa teostati AS Tallinna Restauraator Projektbüroos arhitekt Katrin Etverk poolt

Vahimajas tegutses kunstimuuseumi uue peamaja valmimiseni ehituse sihtasutuse kontor. 22. juulil 2006 avati hoones Kadrioru Pargi muuseum ja raamatukogu.