Piazzola 1921. március 11-én született Mar del Platában egy emigráns olasz család egyetlen gyermekeként. Kiskorát New Yorkban töltötte, ahol a spanyol, az olasz és az angol nyelv mellé a franciát is megtanulta, és megismerkedett a jazz-zel is. Nyolcévesen, egy apjától kapott használt harmonikán kezdett zenélni, első zongoratanára a magyar Wilda Béla volt. A fiatal tehetség ekkor került kapcsolatba az argentin tangó mesterével, Carlos Gardellel is, aki beugró szerepet szerzett neki egy filmben, majd turnéra is hívta zenekarával. A szigorú apa azonban nem engedte el fiát, ezzel megmentve életét, az együttest szállító repülőgép ugyanis lezuhant. Miután a család 1937-ben hazatelepült, Piazzolla bárokban és klubokban lépett fel, számokat hangszerelt át és zenekart is vezetett. 1940-ben darabot írt a Buenos Airesben fellépő zongoraművész Arthur Rubinstein számára, később az ő ajánlására fogadta tanítványául a kor legnagyobb klasszikus argentin zeneszerzője, Alberto Ginastera. Piazzolla Bartók, Stravinsky, Ravel zenéjét tanulmányozta, és maga is komponálásba fogott. Első tangóját 1946-ban írta. 1953-ban Buenos Aires című darabjának bemutatója botrányba fulladt, mert a szimfonikus zenekarban egy harmonikás is helyet kapott. A szakma azonban felfigyelt Piazzollára, aki párizsi ösztöndíjat kapott, ami gyökeresen megváltoztatta az életét.

A legendás zenepedagógus, Nadia Boulanger elégedetlen volt műveivel, és kifaggatta általa szégyellt zenei előéletéről, a bárok és harmonika világáról, majd ezt a tanácsot adta neki: "Az igazi Piazzolla ott van, sose hagyd el." Piazzolla így visszatért a tangóhoz, de komponálás közben a jazz és a klasszikus zene elemeit is felhasználta, mindeközben új harmóniákkal kísérletezett. Az így született új tangó (tango nuevo) már inkább kamarazene volt, mint az ének és tánc kísérete. Darabjait eleinte vonós zenekarral adta elő, miközben ő maga állva, egyik lábát székre helyezve harmonikázott. Később oktettet alapított, amelyben két harmonika, két hegedű, nagybőgő, cselló, zongora és gitár kapott helyet. Piazzolla a jazztangó létrehozására tett rövid és sikertelen amerikai kitérő után 1960-tól már saját Buenos Aires-i klubjában lépett föl. Zenéjét Argentínán kívül is ismerték és szerették. 1976-ban a katonai diktatúra elől külföldre menekült, hét évig Olaszországban élt. Ott írta egyik legismertebb darabját, a Libertangót, amely számtalan feldolgozást ért meg. Filmzenéket is írt, készített lemezt a szaxofonos Gerry Mulligannel és komponált csellószonátát Msztyiszlav Rosztropovics számára. A tangó királya 1990-ben egy párizsi turnén agyvérzést kapott, amelyből soha nem épült fel teljesen, végül 1992. július 4-én halt meg Buenos Airesben.