Budova je přestavbou Desfourského paláce před rokem 1794. Autorem přestavby je Ignác Palliardi. Vzápětí palác získal baron Jakub Wimmer, plukovník rakouské armády. U něj se zde v letech 1799 - 1800 ubytoval Alexandr Vasilijevič Suvorov, generalissimus ruského carského vojska.
Další majitelé, Porgesové z Portheimu, dali v polovině 19. století palác zvýšit o další patro.
Zdroje:
Emanuel Poche, Pavel Preiss, Pražské paláce, Odeon, 1978, PrahaJosef Hrubeš, Eva Hrubešová, Cizinci v Praze, Orion, ISBN 80-901958-2-2