Zeneakadémiai tanulmányait 1933-1942 között orgona és énektanárképző szakon folytatta, közben 1940-ben és 1942-ben Lipcsében tett tanulmányutat, 1948-ban Párizsban a nagyhatású zeneszerző, zenepedagógus és orgonista, Olivier Messiaen mesterkurzusán vett részt. Gergely Ferenc  1931-től haláláig, csaknem hét évtizeden át rendszeresen orgonált a Belvárosi Ferences Templomban, amelynek 1948-ig karnagyaként is tevékenykedett, a rend Liszt Ferenchez hasonlóan konfráterének fogadta; emellett 1942-től az évtized végéig az Egyetemi templom, valamint 1947-től a Dohány utcai zsinagóga orgonistája is volt. Tanított a Nemzeti Zenedében, majd utódában, a Bartók Béla Zeneművészeti Szakközépiskolában, 1948-tól a Liszt Ferenc Zeneművészeti Főiskolán is. A legjelentősebb orgonatanárok tudták barátjának Európa-szerte, zenepedagógusként több neves orgonaművészt indított el a pályán. Werner Alajossal ő hozta létre a magyar kántorképzést, amikor az kiszorult az állami intézményekből.

Elsősorban a francia interpretációs iskola képviselője, a legnagyobb magyar improvizátor volt, a pillanat ihlette játéka tudott energikus és lírai is lenni. Igazi templomi orgonistaként az alázat és a szakmai tudás egyaránt jellemezte. Számára a tanítás, a család és az isteni szolgálat volt a legfontosabb. Saját bevallása szerint maga is tanult növendékeitől, akiknek hangversenyein rendszeresen ott ült a közönség soraiban, sorsukat azután is figyelemmel követte, amikor már nem oktatta őket. Alkalmazkodott tanítványai órabeosztási kívánságaihoz, de a misék időpontja szent volt számára. Érdekelte minden újdonság - túl a hatvanadik életévén Belgiumba utazott, hogy megismerje a nyugaton már elterjedt új előadói stílust. Gergely Ferenc a magyarországi orgonaépítés egyik legavatottabb szakértőjeként számos hangszert tervezett, a többi között Székesfehérváron a Szent Sebestyén-templom, Budapesten a Pozsonyi úti református templom, valamint a sashalmi plébánia orgonáját. Zeneelméleti és zeneművészeti könyveket is írt és fordított, közreadta Liszt Ferenc 13 orgonaművét, a Magyar orgonazene III. kötetét, valamint Rieg H. Klotz Az orgonáról című tanulmányának fordítását.

Gergely Ferenc nemcsak Magyarországon, hanem külföldön is nagysikerű hangversenyeket adott. Repertoárja a barokk orgonamuzsikától a kortárs magyar kompozíciókig terjedt, koncertjein rendszeresen improvizált a nézők által megadott témákra. Két alkalommal (1958, 1993) kapott Liszt Ferenc-díjat, 1981-ben az érdemes művész címmel, 1994-ben Kossuth-díjjal tüntették ki "előadóművészi munkásságáért, az orgonaművészet életben tartása és újabb kibontakoztatása érdekében kifejtett tevékenységéért". 1989-ben II. János Pál pápától megkapta a Nagy Szent Gergely Rend civil osztályának lovagja címet. Gergely Ferenc egy súlyos baleset után két hónappal, 1998. március 18-án hunyt el Budapesten. Temetési szertartását Paskai László bíboros, prímás, esztergom-budapesti érsek celebrálta. Földi maradványai végakaratának megfelelően a Belvárosi Ferences Templom kriptájában nyugszanak, ott, ahol az 1848-49-es szabadságharc utáni megtorlás idején gróf Batthyány Lajos holttestét rejtették el a ferences barátok. A templomban több mint egy évtizede rendezik meg az In memoriam Gergely Ferenc sorozatot, az idei centenárium alkalmából a neves orgonaművész tiszteletére emlékévet rendeznek, szeptember 10-13. között elmélkedésekkel egybekötött zenés áhítatokat tartanak.