Mehta Bombayben (ma: Mumbai) született párszi vallású, jómódú családban, műkedvelő muzsikus apja alapította a város szimfonikus zenekarát. Mehta orvosnak készült, végül mégis a Bécsi Zeneakadémiára iratkozott be, élete első koncertjét 1956 novemberében diáktársaival magyar menekülteknek adta a magyar-osztrák határon. 1958-ban megnyerte a liverpooli karmesterversenyt és a helyi szimfonikusok karmesterévé nevezték ki, huszonöt évesen pedig már dirigálhatta a bécsi, a berlini és az izraeli filharmonikus zenekart.
Hamarosan a montreali és a Los Angeles-i szimfonikusok vezető karmestere lett, a két funkciót egyidejűleg látta el, így ideje jelentős részét repülőgépeken töltötte. 1961-ben az Izraeli Filharmonikusok élén helyettesítette a beteg Ormándy Jenőt. Az együttműködés olyan kiválónak bizonyult, hogy 1969-ben a zenekar tanácsadójának, majd zeneigazgatójának, 1981-ben pedig örökös karmesterének nevezték ki: ő az egyetlen jelentős művész, aki nem izraeliként megkapta az Izrael-díjat.

1978-1991 között állt a New York-i Filharmonikusok élén, a posztot ő töltötte be leghosszabb ideig az együttes történetében. Itteni működésének egyik csúcspontja az 1988-as szovjetunióbeli turné volt, amelyen a zenekar a szovjet állami szimfonikusokkal közösen adott koncertet a moszkvai Gorkij parkban. Mehta, akit a legnagyobb zenekarok hívnak vendégkarmesternek, 1998-2006 között Münchenben a Bajor Állami Operaház zeneigazgatói tisztét is betöltötte. 1985 óta a firenzei Maggio Musicale Zenekar vezető karmestere.

Operát 1963-ban Montrealban dirigált először, azóta a világ leghíresebb operaházainak - a New York-i Metropolitan, a londoni Covent Garden, a milánói Scala - közönsége ünnepelte, Bécsben Verdi Szabó István által rendezett Trubadúrjával aratott sikert. Elsősorban Bruckner, Richard Strauss és Mahler műveinek tolmácsolásával szerzett hírnevet, de elhivatott népszerűsítője Schönberg és más modern komponisták műveinek is.

A populárisabb zene sem áll távol tőle. 1990-ben ő vezényelt a három tenor legelső fellépésén, az olaszországi futball-világbajnokság megnyitóján, de dolgozott együtt a polgárpukkasztó amerikai rockzenész Frank Zappával és Ravi Shankar indiai szitárművésszel. Százmilliók nézték a tévében az általa vezényelt hagyományos bécsi újévi koncerteket, ő dirigálta a Tosca, a Traviata és a Rigoletto című operák élő közvetítését az eredeti helyszínekről, és az ő vezényletével adták elő először a pekingi Tiltott Városban Puccini Turandot című operáját.

Mehta a zene erejével szeretné kibékíteni az egymással szemben álló kultúrákat és országokat. Számtalan jótékonysági koncertnek volt szervezője és aktív részese. 1994-ben a szarajevói filharmonikusokkal a polgárháború sújtotta bosnyák főváros nemzeti könyvtárának romjai közt adta elő Mozart Requiemjét, 1999-ben Mahler 2. szimfóniáját dirigálta az egykori buchenwaldi koncentrációs tábor közelében a bajor és az izraeli filharmonikusok élén. Oktatási programokat alapított izraeli arabok számára, szülőhazájában alapítványa révén több mint kétszáz gyerek tanulhatja a klasszikus nyugati zenét.

Zubin Mehta számtalan kitüntetése közt az egyik legutolsóként az idén csillagot kapott a hollywoodi Hírességek Sétányán. Többször is járt Magyarországon, legutóbb néhány hete dirigált a Budapesti Tavaszi Fesztiválon.