A Jász-Nagykun-Szolnok megyei Kőteleken született, s mivel burokban jött a világra, a bába szerencsés jövőt jósolt neki. Édesapja amatőr szinten zenélt, nővére zongorázni, ő pedig hegedülni tanult. Hangszerét hamar megszerette, ebben nem kis része volt első zenetanárának, aki szinte szülői szeretettel támogatta. Édesapja egy idő után elvitte fiát meghallgatásra az amatőr zenekarukat alkalmanként dirigáló Pécsi Istvánhoz, aki a MÁV Szimfonikusok zenekarát is igazgatta, s ő azonnal saját zeneiskolájukba irányította a fiatal hegedűst. A mérnöknek készülő fiú a Csepeli Munkásotthon kamarazenekarában játszott, s végül a zene mellett kötelezte el magát, a Zeneakadémián Kovács Dénes tanítványa volt. Leginkább magának szeretett játszani, a gyakorlást kevésbé kedvelte, a technika, a műszaki dolgok és a szerelgetés iránti érdeklődése a mai napig megmaradt.

Rolla János egy nyilatkozata szerint "sosem szeretett négyszemközt maradni a hegedűvel", szólista karrierről nem álmodott. Még egyetemi évei alatt kezdtek együtt zenélni társaival, együttesük 1963 tavaszán mutatkozott be a Zeneakadémián Liszt Ferenc Kamarazenekar néven, hangversenymesterük másfél évtizedig Rolla János volt. A tagok diplomájukat kézhez véve különböző együttesekhez szerződtek, de folytatták a közös muzsikálást is, s 1974 óta csak a Liszt Ferenc Kamarazenekarnak élnek. Rolla 1967-1973 között a Magyar Rádió Szimfonikus Zenekarának volt tagja, 1969-ben a Rádió és Televízió hegedűversenyén harmadik díjat nyert. A méltán világhírű együttes első zeneigazgatója Sándor Frigyes, a Zeneakadémia legendás professzora volt, az ő halála után, 1979-ben Rolla János vette át a zenekar irányítását. A Liszt Ferenc Kamarazenekar a világ legrangosabb fesztiváljain és koncerttermeiben lépett fel, játszott egyebek mellett a New York-i Carnegie Hall, a sydneyi Operaház, a párizsi Théatre de la Ville, az amszterdami Concertgebouw közönsége előtt. Olyan művészekkel zenéltek együtt, mint a francia trombitás Maurice André, a fuvolás Jean-Pierre Rampal, az orosz gordonkaművész Msztyiszlav Rosztropovics, Isaac Stern hegedűművész és a zongorista Szvjatoszlav Richter. Repertoárjuk a barokktól a klasszikus és romantikus darabokon át a kortárs művekig terjed. A klasszikus zenén túlra is elkalandoztak, emlékezetes koncerten léptek fel a más zenei műfajt képviselő Budapest Klezmer Banddel, Vukán György Creative Art Ensemble nevű együttesével, Snétberger Ferenc gitárművésszel, a Budapest Bárral, néhány éve pedig közreműködtek a szolnoki Szigligeti Színház Amadeus-előadásában.

1992-ben Rolla János kezdeményezte a Zempléni Művészeti Napok (mai nevén Zempléni Fesztivál) életre hívását, 2006-ban Sárospatak díszpolgárává választották. Művészete elismeréseként megkapta az érdemes művész címet (1981), a Bartók Béla-Pásztory Ditta-díjat (1984), a Kossuth-díjat (1985), a Magyar Köztársasági Érdemrend Középkeresztjét (1994), a Széchényi Ferenc-érmet (1999), a Magyar Köztársasági Érdemrend Középkeresztje a Csillaggal polgári tagozata kitüntetést (2004), a Pro Renovanda Cultura Hungariae Alapítvány fődíját (2006), a Hazám-díjat (2011). A francia kormány 1991-ben a művészetek kategóriájában a Becsületrend Lovagja címmel tüntette ki, 2008-ban a Halld a világot (Hear the World) kezdeményezés magyar nagykövete lett. A hegedűművész 2007-ben a Liszt Ferenc Zeneművészeti Egyetem tiszteletbeli tanára lett, 2009-től két évig ő vezette a kamarazene tanszéket.

Rolla Jánost hetvenedik születésnapja alkalmából az Óbudai Társaskörben köszöntik. A helyszín nem véletlen, a kilencvenes évek eleje óta itt van a Liszt Ferenc kamarazenekar próbaterme, ahol rendszeresen ad koncertet.