Levine 1971-ben debütált a MET-ben, korábban olyan intézményekben és együtteseknél töltött be vezető pozíciót, mint a Ravinia Fesztivál, a Müncheni Filharmonikusok vagy a Bostoni Szimfonikus Zenekar. 1976-tól 40 éven át a MET zeneigazgatójaként dolgozott, 1980-ban tehetséggondozó programot indított Lindemann Young Artists Development Program néven, melynek célja az ígéretes énekesek, karmesterek és zenészek képzése és segítése volt.
A MET-ben eltöltött idő alatt több mint 2500 előadást vezényelt,
2011-ben romló egészségi állapota miatt egy időre viszont visszavonult, és csak a háttérből irányította a munkát. 2015 óta kizárólag zeneigazgatóként tevékenykedett.
2017-ben szexuális zaklatással vádolták meg a The New York Times hasábjain, ezt követően a MET felfüggesztette és menesztette minden tisztségéből. Az ügyben több mint 70 embert hallgattak meg, a vizsgálat pedig megállapította, hogy Levine már az operába kerülése előtt is zaklatta a munkatársait.
Fejléckép: James Levine 2013-ban (fotó: Hiroyuki Ito / Getty Images Hungary)