John Abercrombie 1944. december 16-án született a New York állambeli Portchesterben. A bostoni Berklee College of Musicban végzett tanulmányai után négy évig gitározott Johnny "Hammond" Smith együttesében. 1969-ben visszatért New Yorkba, hogy immáron magasfokú hangszertudását kiváló zenészek társaságában kamatoztassa.

Az elkövetkező öt esztendőben Randy és Michael Brecker társaságában a Dreams együttesben muzsikált, és a Chico Hamilton Banddel turnézott, többek közt a Montreaux-i Jazz Fesztiválon is játszott. Számtalan zenekarvezető kereste meg egy vagy több fellépésre Gil Evanstől Gato Barbierig, de Billy Cobham fúziós csapata, a Spectrum volt az, amelynek tagjaként Abercrombie elismertsége ugrásszerűen megnőtt. Ez a keményen játszó, rockhatás alatt álló banda kiváló lehetőséget nyújtott arra, hogy virtuóz technikáját és fantáziáját karrierjének e korai korszakában bemutathassa. A hetvenes évek derekára aztán Abercrombie új és egészen másféle hangvételt alakított ki.

Abercrombie megalakította saját trióját, a Timelesst, amellyel lágyabb, puhább, letisztultabb stílusban játszott. 1975-ben ezt az együttesét a Gateway trió váltotta fel, amelyben Dave Hollanddal és Jack DeJohnette-tel dolgozott együtt.

Azután három évvel később egy kvartett következett. Abercrombie-nak a nyolcvanas évek óta megszámlálhatatlan fellépése és lemezfelvétele volt. Folytatta együttműködését DeJohnette-tel, és jó néhány felejthetetlen duettet produkált Ralph Townerrel is. Saját kvartettjében többek között Michael Breckerrel szerepelt, később létrehozott egy all star big bandet, mellyel rögzítették Charles Mingus Epitaph-ját. Abercrombie elvitathatatlanul az egyik legsokoldalúbb jazzgitáros, aki kezében toll helyett pengetőt tartva több mint ötven éve a legkifinomultabb stílusban írja a jazz történetét.