Berlinben született 1886. január 25-én, gyermekkorát Münchenben töltötte, ahol édesapja tanárként dolgozott. Miután már egészen fiatal korában nyilvánvalóvá vált, hogy rendkívüli tehetséggel van megáldva, abbahagyta az iskolát, és magántanuló lett. Zeneszerzésre Joseph Rheinberger tanította, vezénylés tanára Felix Mottl volt. Ennek eredménye képpen Furtwangler 17 éves korára már számos saját kompozícióval büszkélkedhetett.

Karmesterként is viszonylag korán, 20 évesen debütált a Kaim Zenekarral. A műsoron I. szimfóniájának Largo tétele, Beethoven Házavatás nyitánya, valamint Bruckner IX. szimfóniája szerepeltek. Tulajdonképpen ez a koncert döntötte el pályájának további alakulását: zeneszerzőként ugyanis vegyes fogadtatásban részesült, és a komponista-életmóddal járó állandó anyagi bizonytalanság sem tűnt vonzónak, így energiáit ezentúl a vezénylésre koncentrálta.

1906-1907-ben a Breslau Stadttheaternél dolgozott: ez volt az első állása. A következő évadban Zürichbe ment, majd útja a müncheni udvari operába vezetett, ahol régi tanára, Mottl keze alatt tevékenykedhetett. Az 1911-21-ig terjedő időszakban több németajkú nagyvárosban dolgozott mint zeneigazgató, így vezényelt Lübeckben, Frankfurtban, Mannheimben és Bécsben is. 1920 és 1922 között a berlini Staatskapelle dirigense volt, 35 éves korában pedig az a megtiszteltetés érte, hogy az ünnepelt Berlini Filharmonikusok élén ő foghatta a karmesteri pálcát, sőt ezzel párhuzamosan a lipcsei Gewandhaus zenekarát is igazgatta 1928-ig.

A ’20-as évek második felében a New York-i és a Bécsi Filharmonikusok hívták meg magukhoz. A ’30-as évek elején Bayreuthban, Salzburgban, illetve a berlini Operában dirigált. 1932-ben Geothe Arany Érmet kapott. Amikor a náci párt hatalomra került 1933-ban, Furtwangler, noha büszke volt német származására, erős ellenállást tanúsított, még Hitler jelenlétében sem volt hajlandó tisztelegni. 1934-től számos zsidó származású muzsikusnak segített, és visszautasított mindenféle felkérést, ami a náci területről jött. Nem sokkal később Albert Speer tanácsára Svájcba menekült. A háború után főleg Bécsben és Londonban vezényelt. 1954. november 30-án hunyt el Baden-Badenben.