Olasz bevándorlók gyermekeként született Jersey Cityben. Az olasz klasszikus zene volt az első ihletője, majd a latin ritmusok iránt kezdett érdeklődni, egy ideig dobolt is. Tizenéves korában, amikor már gitározott, egyértelműen a latin zenét érezte sajátjának, miközben érdeklődése fokozatosan a jazz felé fordult. Még csak tizenhét éves volt, amikor korengedménnyel a világhírű bostoni Berklee School of Music hallgatója lett. A hetvenes évek közepén már teljesen a saját elképzelései szerint dolgozott, csatlakozott a Return to Forever nevű együtteshez, amelyben ugyan nem játszott sokáig, de a billentyűs Chick Coreával eltöltött három év sok színnel gazdagította hangszeres tudását. A formáció 1975-ben megjelent No Mystery című albuma Grammy-díjat kapott, az együttes emlékezetes sikert aratott a New York-i Carnegie Hallban.

Al Di Meola első szólólemeze 1976-ban jelent meg Land of the Midnight Sun címmel és a fúziós zene egyik legkiválóbb alkotásának tartják. A hetvenes évek végén két másik gitárfenoménnal, a flamenco spanyol mesterével, a nemrégiben elhunyt Paco de Luciával és a Mahavishnu Orchestrában remeklő angol John McLaughlinnal hozta össze a sors, közösen készítették a Friday Night In San Francisco című legendás lemezt. A nagyszerű gitártrió éveken át szünetelt, majd a kilencvenes évek közepén ismét együtt álltak színpadra.

Al Di Meola az évek során kitűnő jazz- és rockzenészek sokaságával játszott. Köztük volt Phil Collins, Bill Brufford, a Yes egykori dobosa, Stanley Clark basszusgitáros, Jean-Luc Ponty hegedűs, Paul Simon, Carlos Santana, Larry Coryell, Steve Winwood, Wayne Shorter, Herbie Hancock, Jaco Pastorius, Les Paul, Steve Vai, Frank Zappa, Jimmy Page és Stevie Wonder is.

A közönség szeretete mellett a szakmai elismerések sora bizonyította, hogy jó úton jár. Mintegy harminc lemeze jelent meg, a legtöbbet emlegetett albumai közé tartozik még a World Sinfonia, a DiMeola Plays Piazzola, valamint a Heart of Immigrants.

A magyar közönség is jól ismeri és szereti a virtuóz gitárost, aki jó néhányszor koncertezett Budapesten és az ország más városaiban, egyik legemlékezetesebb fellépése a gitártrióval volt 1996-ban. 2003-ban a Carmen crossover feldolgozásában Horgas Eszterrel dolgozott együtt, 2005-ben újra együtt álltak színpadra a Papp László Budapest Sportarénában, amikor Mária - Égi szerelem című előadás alkalmával Mária szerepét Horgas Eszter, az Angyalt Al Di Meola alakította, szerepelt a veszprémi ünnepi játékokon, a FEZEN fesztiválon és a Gastroblues fesztiválokon is. Saját bevallása szerint szeret Magyarországra visszatérni, mert kedveli a magyarok zenei érzékenységét. Erősen kötődik a magyar zenészekhez, rengeteg kiváló magyar muzsikussal találkozott, akikkel az évek alatt remekül működő munkakapcsolata alakult ki.

Utolsó lemeze 2013-ban jelent meg All Your Life címmel, ez egyfajta tisztelgés a Beatles előtt. Di Meola saját stílusában adja elő a Lennon-McCartney-szerzeményeket, minden zeneszerszámon maga játszik, a gitároktól kezdve az ütőhangszereken át a gitártesten való dobolásig. A feldolgozások személyes indíttatása, hogy a Beatles hatására fogott először gitárt a kezébe. Igaz ugyan, hogy pályája a jazz és a fúziós zenék irányába indult, de ugyanúgy vissza is akart kanyarodni az olyan lemezekhez, mint a Magical Mystery Tour vagy az Abbey Road.