Gonda János korán kezdett zongorázni, és nem csak klasszikus darabokat játszott, hanem tizenévesként már rögtönzött hangszerén. A Zeneakadémia ösztöndíjas diákjaként titokban hallgatta az Amerika Hangja rádió adását, az ott sugárzott jazzt. Az improvizáció iránti érdeklődését tanára, Bárdos Lajos zeneszerző erősítette meg. Zenetudományi, majd zongoraművészi diplomájának megszerzése után a ma Hungaroton néven ismert hanglemezgyártó vállalathoz került zenei rendezőnek.

Iskolaalapítóként, tanári, ismeretterjesztő, pedagógiai, zenei-közéleti és szerkesztői tevékenységében mindig azon fáradozott, hogy a jazzt a klasszikus zene rangjára emelje. 1965-ben megszervezte a Bartók Béla Zeneművészeti Szakközépiskola jazz tanszakát, ehhez hasonló képzés akkor Közép-Európában egyedül Grazban folyt. A műfaj elismerésével a tanszak 1990-ben főiskolai, majd egyetemi szintre emelkedett, nem kis részben Gonda Jánosnak köszönhetően. A műfaj későbbi magyar képviselői közül szinte mindenki az ő növendéke volt.

Nevéhez fűződik az első magyar nyelvű jazzelméleti- és történeti munka megírása: 1965-ben jelent meg legendás  Jazz - Történet, Elmélet, Gyakorlat című könyve. A mű bővített, átdolgozott kiadása 2004-ben Jazzvilág néven látott napvilágot, a könyvbemutatót tanítványai "Tanár úr, kérem" címmel koncert keretében ünnepelték meg a Budapesti Tavaszi Fesztivál programjaként. Gonda Mi a jazz? és A rögtönzés című könyve szintén a magyar jazzoktatás jelentős művének számít. Intenzíven foglalkozott a kreativitást fejlesztő, alternatív zenepedagógiával, 1993-ban megalapította a tatabányai Nemzetközi Kreatív Zenepedagógiai Intézetet, két évtizeden keresztül szerkesztette a Jazz című szaklapot, és ma is tart kurzusokat.

Gonda János nem csak zenetörténészként és tanárként, hanem zongoristaként és zeneszerzőként is elismert. 1962-ben alapította a Qualiton együttest, amellyel elkészítette a Modern Jazz lemezsorozat első albumát. Több formáció tagjaként, szextettjével és szólistaként is koncertezett itthon és külföldön; Ausztráliában több hónapig vendégszerepelt. A jazz műfajában született darabjai mellett komponált filmzenét neves rendezők, így Szabó István (Apa, Szerelmesfilm), Máriássy Félix (Karambol), Fábri Zoltán (Nappali sötétség), Sára Sándor (Holnap lesz fácán) művéhez. Írt musicalt, dalokat, színházi kísérőzenét, táncjátékokat (Szarvassá változott fiú, Álmok köntöse, Elcserélt fejek) és szimfonikus jazzművet (Ausztráliai Concerto) is.

1972-1984 között a Nemzetközi Jazz Szövetség alelnöke volt, 1990-ben őt választották az újonnan alakult Magyar Jazz Szövetség elnökének, amelynek jelenleg tiszteletbeli elnöke. A hazai jazzélet egyik legmeghatározóbb alakját 1974-ben Erkel Ferenc-díjjal tüntették ki, megkapta a Magyar Köztársasági Érdemrend Tisztikeresztje (1992), valamint Középkeresztje (2002) kitüntetést, a Szabó Gábor-díjat, a Budapestért Díjat, 2011-ben a Magyar Jazz Szövetség Pernye András-díját.