Johann Gundel néven egy pékmester fiaként született a bajorországi Ansbachban. Apja halála után édesanyja nem győzte taníttatásának terheit, és tizenhárom éves korában 30 forinttal a zsebében Pestre küldte, hogy mostohaapja sógorának vendéglőjében dolgozzon. Pikolóként hordta a krigli söröket "Az utolsó fillérhez" nevű kocsmában, s mivel ügyes volt és szorgalmas, ráadásul öt nyelven beszélt, hamar előrelépett a ranglétrán.
Előbb a Téli Sörház üvegezett verandáján, majd a belvárosi Arany Sas fogadóban alkalmazták. Tizennyolc éves korában már ő volt a főpincér, helyzetét tovább erősítette, amikor 1869-ben elvette a tulajdonos unokahúgát, Kommer Annát. A házasság után önállósította magát, és a Király utcában megnyitotta első vendéglőjét.
A Bécsi Sörház – itt játszódik Krúdy Boldogult Úrfikoromban című elbeszélése – bécsi tányérhússal (tafelspitz: puhára főtt marhafartő zöldséggel, levessel, burgonyával és szósszal felszolgálva), bécsi szelettel, szalontüdővel és a melléjük kínált osztrák sörrel csalogatta a közönséget.
Két évvel később átvette és felvirágoztatta a József nádor téri Virágbokor vendéglőt.
Több híresség is idejárt, a festő Lotz Károly egy képet is ajándékozott neki, amelyet a különteremben függesztettek ki.
Gundel a szakma legnagyobb meglepetésére alig harmincöt évesen visszavonult, és belevetette magát a közéletbe. A Szállodások és Vendéglősök Ipartársulatának elnökeként, Budapest Székesfőváros törvényhatóságának tagjaként komoly erőfeszítéseket tett a szakoktatás megszervezéséért, 1885-ben megkapta a Ferenc József-rend lovagkeresztjét.
A vendéglátáshoz komoly vagyon birtokában, öt gyermek apjaként tért vissza,
amikor kibérelte az István Főherceg szállodát az Akadémia és a Vigyázó Ferenc utca sarkán.
Az új intézményt a Vadász és Versenylap 1889. szeptember 29-i számának hasábjain így ajánlotta a leendő vendégek figyelmébe:
A szállodát 1904-ig működtette, 2016-ban az épület Akadémia utcai falán emléktáblát avattak tiszteletére.
A konyhájáról híres szálloda az ő vezetése alatt élte virágkorát, itt találkoztak a szomszédos Akadémia tagjai, és a Kisfaludy Társaság is itt rendezte bankettjeit.
Gundelnél vacsorázott Tisza Kálmán, Jókai Mór, báró Kemény János, akik szerették ezt a "disztingvált, csendes, lakályos fészket".
Egyik legkedvesebb vendégének, Mikszáth Kálmánnak külön lakosztályt rendezett be, és mindenben igyekezett az író kedvében járni. Még egy ételsort is készített a tiszteletére, Mikszáth művei ihlették a Lohinai füves hal, a Tót atyafiak haluskája, a Brézói ludak Mikszáth módjára, a Galamb kalitkában és Ami a lelket édesíti fogásokat.
Amikor Mikszáth megemlítette, hogy olyan levest enne, amely "magában foglalja a magyar konyha minden zamatát", Gundel
a "nagy palóc" tiszteletére megalkotta a ma is kedvelt palóclevest, amelyhez hagymát, paprikát, ürühúst, zöldségeket, krumplit, zöldbabot és tejfölt használt.
A Mikszáth-szoba ünnepélyes megnyitásán, 1894-ben már ott szerepelt az étlapon a "palóczleves", amely 1935-ben, a vendéglősöknek megrendezett vacsoraversenyen a fia, Gundel Károly által feltálalt fogásként indult el gasztronómiai hódító útjára.
A szakmát továbbvivő Gundel fiúnak vendéglátós vér csörgedezett az ereiben, de apjával ellentétben főzőkanalat sosem vett a kezébe, fejben komponálta meg az ízek harmóniáját. 1910-ben ő vette meg és nevezte el Gundelnek a városligeti Wampetics-vendéglőt.
Az idősebb Gundel 1904-ben ismét visszavonult, idejét és energiáját a szakmai szerveződés és képzés előmozdításának szentelte. Számtalan tisztséget viselt, egyebek közt az Állandó Borvizsgáló Szakértőbizottság tagja, az Országos Vendéglős Szövetség díszelnöke, a Budapesti Kávés Ipartársulat tagja, az evangélikus egyház presbitere, a Lipótvárosi Takarékpénztár tagja, emellett negyven évig a Régi Hívek szabadkőműves páholy tagja volt.
Nevéhez fűződik a vendéglátós szakma képesítéshez kötése, a nemzetközi kapcsolatok felvétele. 1886-ban ösztöndíjat alapított a legjobb étlapot író borfiú támogatására.
Vendéglős körökben közmondásos volt tudása és pontossága. Személyesen ellenőrizte a menükönyvet, az adagokat, az ételek összeállítását, még a moslékosdézsa tartalma sem kerülte el a figyelmét.
Több ételt is alkotott, a pesti étkezésben ő terjesztette el a bécsi szeletet.
Elsőként enyhítette a korábban barbárnak, túlfűszerezettnek tartott magyar konyhát a nemzetközi konyha szelídebb, pikáns ízeivel. Számos szakcikket írt magyarul és németül. Szabadidejében esztergált, elefántcsont tárgyakat készített és budafoki kertjében dolgozgatott.
Amikor az első világháború idején Károly fia a frontra ment, hetvenévesen ő intézte helyette a beszerzéseket. Egy évvel később, 1915. december 28-án halt meg Budapesten. Az általa megalapozott új gasztronómiai kultúrát fia vitte tovább, akinek neve már életében fogalommá vált.
A Gundel-örökséget 2014-ben hungarikummá nyilvánították.