Tanulmányait a Zeneakadémián végezte Bartha Dénes, Szabolcsi Bence és Bárdos Lajos irányítása alatt. Zenetörténész oklevelét 1956-ban, kandidátusi fokozatát 1968-ban, akadémiai doktor fokozatát 1995-ben szerezte.
Ismertebb könyvei tartoznak a Képes magyar zenetörténet, valamint Bartók vonósnégyeseiről és kamarazenéjéről szóló monográfiája, valamint a Kelet zenéje.
Népzenegyűjtést végzett Marokkóban (1958) és Japánban (1988, 1994). 1980 és 1986 között az International Association of Music Libraries alelnöke, 1998-tól 2006-ig a Magyar Zenetudományi és Zenekritikai Társaság elnöke.
Előadásokat tartott az Egyesült Államok, Kanada, Japán, Dél Korea, Franciaország és Olaszország egyetemein. Számos nemzetközi konferencián (tk. Teherán, Újdelhi, Firenze, Tokió, Oszaka, Detroit, Washington, Los Angeles) képviselte hazánkat. Családja, köztük Kárpáti Péter drámaíró gyászolja.
Kárpáti munkásságát nem csupán a távolság varázsa vezérli, egyszersmind át is hatja a távolság tényleges mibenlétének felismerése. Megbízható, egyszerre széles távlatú és részletgazdag képet csak az alkothat magának, és adhat át másoknak, aki emberi tempóban, gyalogosan halad. Gyalogosan tudvalevőleg a vízen is lehet járni. Száraz lábbal át lehet kelni távoli szigetekre. Ahogy Kárpáti Jánosnak sikerült
- idézi a zenetörténész kollégáját, Tallián Tibort az Index.