A volhíniai, akkor Lengyelországhoz, ma Ukrajnához tartozó Kremenyecben jött a világra. Még egyéves is alig volt, amikor a család kivándorolt Amerikába, Stern San Franciscóban nőtt fel. Első zeneóráit édesanyjától vette, aki a szentpétervári konzervatóriumban végzett énekesnő volt.
Hétévesen kezdett hegedülni és egy évvel később már a helyi konzervatórium tanulója volt, képzését egy gazdag mecénás fizette, aki hallotta játékát.
Tanárától, a helyi szimfonikus zenekar koncertmesterétől alapos képzést kapott, hogy a technikai tudás elsajátítása után figyelmét a művészi kifejezésre összpontosíthassa. A rendkívül tehetséges fiú 1936-ban a San Franciscó-i Szimfonikusokkal mutatkozott be, néhány hónappal később New Yorkban Otto Klempererrel és a Los Angeles-i Filharmonikusokkal Csajkovszkij D-dúr hegedűversenyét játszotta. Sokáig vívódott, hogy elfogadja-e a neki felajánlott biztos zenekari állást, de végül úgy döntött, szólókarriert kezd. Hírneve egyre nőtt, először 1943-ban bűvölte el a New York-i Carnegie Hall hallgatóságát. Karrierje során itt lépett fel a legtöbbször, több mint 200 alkalommal, az ötvenes években ő mentette meg a lebontásra ítélt épületet, amelyben az egyik terem ma az ő nevét viseli.
Az 1940-es évek végén már a legnagyobb fesztiválokra hívták, 1949-ben világ körüli turnéján 120 fellépése volt. Egyik legemlékezetesebb koncertjét 1950-ben, a Bach halálának 200. évfordulóján a franciaországi Prades-ban rendezett fesztiválon volt. A hegedűs Stern és Szigeti József, a gordonkaművész Pablo Casals (aki itt vezényelt is), a zongorista Eugene Istomin és Mieczyslaw Horszowski a falu főterén lévő XI. századi Szent Péter templomban zenéltek, a legenda szerint Spanyolországból, ahol a Franco kormány megtiltotta a rendezvény látogatását, sok néző szökött át a Pireneusokban húzódó határon.
1951-ben első amerikai hegedűsként lépett fel a Szovjetunióban. Az 1960-as évektől azonban többé nem látogatott ide, mert nyílt vitába keveredett Nyikita Hruscsov pártfőtitkárral, Stern azt kifogásolta, hogy a szovjet művészek nem utazhatnak szabadon Nyugatra. Többször játszott Magyarországon is, Németországba ugyanakkor csak 1999-ben utazott először, mert úgy érezte, nem akar abban az országban fellépni, ahol a holokauszt megtörtént. A katonai junta uralma alatt bojkottálta Görögországot is, 1979-ben kínai meghívását csak úgy fogadta el, ha filmeseket is magával vihet. A koncertkörútról készült Maótól Mozartig című dokumentumfilm Oscar-díjat nyert.
A múlt század legnagyobb művészeivel és dirigenseivel lépett fel, számos komponista, köztük Leonard Bernstein, Paul Hindemith és Krzysztof Penderecki kifejezetten az ő számára írtak darabokat. Ő játszotta a hegedűszólamot Bartók opus posztumusznak jelölt első Hegedűversenye amerikai premierén 1961-ben, öt évvel később Maja Pliszeckaja orosz balerinát kísérte annak utolsó fellépésén, amikor a hattyú halálát táncolta a New York-i Metropolitan Operában. Egy emlékezetes alkalommal a csellista Jacqueline du Pré helyett, aki betegsége miatt már nem tudta kezébe venni a vonót, ő játszotta el Mendelssohn Hegedűversenyét.
Stern repertoárja szinte az egész zeneirodalmat felölelte Vivalditól a kortárs zenéig. A hatvanas évek elején zongoratriót alapított, Eugene Istomin zongoristával és Leonard Rose csellistával elsősorban Beethoven és Brahms műveit adták elő. Nagy hangsúlyt fektetett a komolyzene népszerűsítésére, ezért gyermek- és családi hangversenyeket szervezett, ő fedezte fel például Yo-Yo Mát és Itzhak Perlmant, a világ számos országban tartott mesterkurzusokat, s tagja volt a Lyndon Johnson amerikai elnök melletti művészeti tanácsadó testületnek.
A zene nagyköveteként szinte élete végéig koncertezett, túl a hetvenen is csaknem százszor lépett fel évente.
Hegedűjátékát több mint száz hangfelvétel őrzi, ezeken 63 zeneszerző közel 200 műve hallható. Vivaldi A négy évszak című remekművének 1983-as felvételén Pinchas Zukermann, Shlomo Mintz és Itzhak Perlman mellett ő volt az egyik szólista. Hegedűjátéka több filmben is hallható, a többi közt a Humoreszk című romantikus drámában, a Hegedűs a háztetőn filmváltozatában vagy A tehetséges Mr. Ripley-ben, A szív dallamaiban pedig magát alakította. 1991-ben, az Öböl-háború napjaiban jeruzsálemi koncertjét rakétariadó szakította félbe, miközben a zenekar tagjai lementek a pódiumról, a közönség pedig gázálarcot vett fel, ő Bach egyik szóló hegedű-partitáját játszotta (erről egy gyenge minőségű videó itt látható).
Hangszerei kisebb vagyont értek, birtokában volt két Guarneri del Gesu és egy Stradivari is. Szabadidejében szívesen teniszezett és kártyázott, szerette a labdarúgást és a baseballt, de a film, a fizika és a kibernetika is érdekelte.
Művészetét számtalan díjjal ismerték el, többek között 1984-ben a Kennedy Központ díjával, 1987-ben művészeti Wolf-díjjal tüntették ki. 1991-ben megkapta a legmagasabb amerikai művészeti elismerést, a Nemzeti Művészeti Érdemérmet, 1992-ben pedig a legmagasabb amerikai polgári kitüntetést, az Elnöki Szabadság-érdemrendet is. 2000-ben – Bob Dylan társaságában – a zenei Nobel-díjként emlegetett Polar-díjat vehette át, többszörös Emmy- és Grammy-díjas volt, megkapta a Grammy életműdíjat és a francia Becsületrendet. 2012-ben Tel-Avivban utcát neveztek el róla. Önéletrajza 1999-ben jelent meg.
A múlt század egyik legnagyobb hegedűvirtuóza 2001. szeptember 22-én halt meg New Yorkban, szívelégtelenség következtében. Mindkét fia a zenei pályát választotta, s karmesterként lett ismert.