Caragiale 1852. január 30-án született a Ploiesti melletti Haimanaléban, amely ma az ő nevét viseli. Iskoláit is itt végezte, majd a bukaresti konzervatórium szavaló és mimikai tanfolyamára iratkozott be, de gyorsan rájött, hogy a színészi mesterség távol áll tőle. A színháztól mégsem tudott elszakadni, igaz, karrierje elég "mélyről", a bukaresti teátrum súgólyukából indult. Íróként az 1870-es évek elején debütált, 1873-tól jelentek meg versei, karcolatai és irodalmi kritikái. 1876-77-ben kiadta a Claponul című humoros lapot, amelynek ő volt a szerkesztője és egyetlen munkatársa is. Irodalmi körökben akkor vált igazán ismertté neve, amikor franciából lefordította Alexandre Parodi Legyőzött Róma című munkáját. Az ifjú szerzőt fordítói bravúrjáért tagjai közé fogadta a Junimea elnevezésű konzervatív irodalmi társaság.

Caragiale drámaíróként 1879-ben debütált, Zűrzavaros éjszaka című vígjátékát a bukaresti Nemzeti Színház adta elő hatalmas sikerrel. A darab bőven merített a korabeli francia bohózat kelléktárából, a kötelező szerelmi bonyodalmak, a félreértésekből kibontakoztatott konfliktus azonban erős társadalomkritikai hanggal párosult. Ez a kettősség a többi Caragiale-darabban (Leonida naccsás úr, Az elveszett levél, Farsang/Karnebál) is megmaradt azzal a különbséggel, hogy mindig más társadalmi réteget mutatott be görbe tükörben. Darabjaiban a klasszikus drámaeszményt, a hely-idő-cselekmény hármas egységét valósította meg, jól eltalált karakterek, pergő cselekmény és a hétköznapi fordulatokat használó nyelv biztosította sikerét. Utolsó színpadi műve az 1890-es Megtorlás című tragédia volt, amelynek paraszti tematikája újszerű elem volt művészetében.

Bár sikeres szerző volt, Caragiale állandó anyagi gondokkal küzdött, minden alkalmat megragadott, hogy rendes kenyérkereső foglalkozást űzzön. Volt hivatalnok, iskolafelügyelő, helyettes tanár, 1888-89-ben a román színházak főigazgatója, majd egy merész fordulattal vasúti restit bérelt, később sörözőt nyitott Bukarestben. Az 1890-es évektől kezdve főleg novellákat és karcolatokat írt, amelyek a Moftul Roman című élclapban jelentek meg, majd 1901-ben a Momente (Pillanatok) című kötetében adta őket közre. Pályáját több kudarc, konfliktus is kísérte, 1901-ben például plágiumpert akasztottak a nyakába: azzal vádolták, hogy a Megtorlás című drámáját egy Kemény István nevű magyar írótól lopta. Amikor a vád alaptalannak bizonyult, ellenségei azt sütötték rá, hogy egy Tolsztoj-novellát írt át drámává. Bizonyítékot erre sem találtak, de Caragiale úgy érezte, nincs tovább maradása hazájában.

1904-ben, miután tekintélyes örökséghez jutott, családjával együtt bejárta Olaszországot, Franciaországot, végül Berlinben telepedett le. 1912-ben, hatvanadik születésnapján a román írószövetség elnöke hazahívta Bukarestbe, hogy méltóképpen ünnepelhessék, ám Caragiale szívélyes, de elutasító választ adott. Nem sokkal később, 1912. június 9-én váratlanul meghalt. A berlini temetőből még ugyanazon év őszén kihantolták tetemét és Bukarestben abban a temetőben helyezték nyugalomra, ahol barátja, a költő Mihai Eminescu sírja is található.