A bécsi Magyar Nagykövetség palotáját 1747-ben vásárolták meg a magyar rendek (Stände) és szabad királyi városok azzal a céllal, hogy a Magyar Udvari Kancellária hivatalának helyet adjon. Az eredetileg Fischer von Erlach által épített barokk Windischgrätz palota idővel új épületrészekkel egészült ki, és befogadta az Erdélyi Udvari Kancellária hivatalát is. Az épület 1784-re, Franz Anton Hillebrandt építészeti tervei szerint átalakítva, lényegében már mai formájában állt, bár a 19.század első felében újabb emeletet építettek rá, a 20. század folyamán pedig tetőterét is hasznosították.

A Magyar Udvari Kancellária pompás barokk palotájának belső megformálása gr. Esterházy Ferenc kancellár nevéhez fűződik és az örökösödési háborúkban nyújtott magyar katonai segítségért hálás Mária Terézia királynő nagyvonalú mecenaturájának eredménye. A belsőépítészeti ornamentikát az olasz udvari építész (Hofarchitekt) Nicolaus Pacassi alakította ki, a Pozsonyi terem festményeit Mária Terézia koronázásának jeleneteiről Franz Messmer készítette. A kancellár szobáját díszítő Maulbertsch freskó 1766-ban készült és azt a jelenetet őrzi, midőn a királynő átadja a Szent István rend jelvényeit gr. Batthyány Lajos nádornak

A Kancellária épületének gazdag belső berendezése egyértelműen az udvar hatalmát kívánta megjeleníteni a reprezentáció eszközeivel. Az értékes kárpitokat, bútorokat és festményeket ugyan a kiegyezést követően Budára, a jogutód miniszterelnökség palotájába (Sándor palota) szállították, de a kialakított szobabelsők, képek és másolatok ma is híven őrzik a feudáliskori hivatal gazdagságát, idézik fel a barokk hangulatot (Diplomataváró) vagy éppen a kiegyezés korának szellemiségét (Márványterem).

Az idők változtával, 1848-tól majd 1867 után az épület a király személye körüli miniszter (kgl. Ungarischer Minister am allerhöchsten Hoflager) rezidenciája, illetve a Birodalmi tanács és a Magyar Országgyűlés delegációi tárgyalásainak színhelye volt, ahol a Monarchia közös ügyes minisztériumainak (külügy, hadügy, pénzügy) költségvetését meghatározták.

A Bankgasse-i magyar palota az 1918-as Köztársaság kikiáltását követően lett követségi épület. A két világháború között itt szolgáló jeles követek közül Gratz Gusztáv és báró Apor Gábor külügyminiszterséget is viselt. Az Anschluss után évekig főkonzulátusként működött, majd a II. világháborút követően ideiglenes ügyvivők igazgatása alatt állt. Miután Ausztria 1955-ben az Államszerződéssel függetlenségét véglegesen visszanyerte, elfoglalták helyüket újra az első követek.

Bruno Kreisky kancellárnak az osztrák-magyar politikai közeledést meghozó 1964-es budapesti látogatása után a diplomáciai kapcsolatokat nagykövetségi szintre emelték.

Az épület újabbkori rekonstrukciója az 1990-es évek elején fejeződött be, és az osztrák hivatali negyedben elhelyezkedő Bankgasse-i palota rendezvényeivel ma is kedvelt és egyik központi helye a bécsi diplomáciai és társadalmi életnek.