Kann Gyula néven született 1887. március 19-én egy hatgyermekes budapesti zsidó családban. Szülei könyvelőnek szánták, kereskedelmi iskolába járatták, titokban, esténként látogatta Solymosi Elek színiiskoláját, melynek elvégzése után, 1905-ben táncoskomikusként kezdte pályáját. Szabadkán, majd Zomborban, Makón, Nagyváradon játszott.
1913-ban került Budapestre, ahol rengeteg színházban és kabaréban megfordult, ekkor vette fel a Kabos művésznevet. 1918-ban Nagyváradon színházalapítással is megpróbálkozott. 1919-ben feleségül vette a hadiözvegy Puhalag Máriát, akinek nyolcéves kislánya ettől fogva nevelt lánya lett, és hamarosan megszületett fia. Színészi munkája mellett 1929-1930-ban ő igazgatta a Fővárosi Művész Színház néven újjáalakított Operettet. Kabost a harmincas években a hangosfilmek avatták az ország kedvencévé. Olyan, máig legendás produkciókban komédiázott, mint a Hyppolit, a lakáj, a Meseautó, az Ez a villa eladó, a Nászút fél áron vagy a Lovagias ügy.
de ugyanakkor a főváros legjobb színházaiban is fellépett. Híres szájcsücsörítő grimaszával, jellegzetes dadogásával, eszköztelen játékával, félszeg mozdulataival és groteszk mimikájával nemcsak komikus figurákat töltött meg sajátos élettel, hanem tragikomikus, sőt tragikus szerepeket is hitelesen alakított.
Egy ország leste szájáról a poénokat a moziban, és hitte, hogy a tréfamester az életben is éppen olyan szórakoztató. Kortársai szerint azonban keserű, kicsinyes ember volt, aki nem találta a helyét a világban. Amikor a reggeltől estig tartó hajsza után otthon, a fürdőkádban magába roskadva felhörpintette frissítő kávéját, gyakran ismételgette: "Majd éppen nekem fog sikerülni." 1938-ban az Andrássy úti Színházban lépett fel utoljára Magyarországon.
A következő évben az erősödő antiszemitizmus elől az Egyesült Államokba emigrált, alkalmi fellépéseken szórakoztatta a magyarul tudó közönséget. Az Újvilágban nehezen barátkozott meg a hétköznapisággal: két évig bolyongott a messzi idegenben, majd megbetegedett, és 1941. október 6-án New Yorkban, alig 53 évesen elvitte a szívszélhűdés.
Földi maradványait 1996-ban hozták haza, helyezték végső nyugalomra a Farkasréti temetőben. 1997-ben posztumusz Köztársasági Elnöki Arany Emlékéremben részesült. A Soproni Petőfi Színház minden évben Kabos Gyula-díjatad át egy színésznek a társulat szavazatai alapján, az évadban nyújtott teljesítményéért. Sikeres filmjei persze nem kerülhetik el sorsukat, újra megfilmesítik, színpadon játsszák őket.