Rákosligeten látta meg a napvilágot. Kisdiákként a természettudomány, különösen a fizika és a kémia érdekelte, rádiót épített, mikroszkóppal vizsgálódott, eredetileg vegyésznek készült. Gyermekkorában hegedülni tanult, és a helybéli katolikus templom kórusának tagja volt. Az első oratórium, amelyben énekelt, Bach János passiója volt. Tizenhat évesen ő helyettesítette a templomban az 1956-os forradalom után disszidált kántort.

Ebben az évben látta Székely Mihályt Verdi Don Carlosának Fülöp királyaként, és az előadás hatására a legendás basszus lett a példaképe. A konzervatóriumot három év után otthagyta, sikeresen felvételizett a Liszt Ferenc Zeneművészeti Főiskola ének tanszakára. Rösler Endre lett a mestere, de tanulmányait a Zeneakadémián sem fejezte be.

1958-tól volt a Magyar Néphadsereg Művészegyüttese férfikórusának tagja. 1964-től – egy sikeres próbaéneklés után – tizennégy évig Szegeden dolgozott a legendás karmester, Vaszy Viktor irányítása alatt. Élete végéig Vaszyt tartotta első mesterének, aki atyai jó barátja is lett, szavai szerint senkitől sem tanult többet. 1976-tól a budapesti Operaház állandó vendégművésze, 1987-ig a Szegedi Nemzeti Színház magánénekese, 1987-1989 között a győri Kisfaludy Színház tagja, ezután a szegedi operatársulat igazgatója volt. 1991-ben a Szegedi Nemzeti Színház örökös tagja lett.

Az operarepertoár minden nagy basszus szerepét elénekelte. Pályafutása első felében külföldön nem is vendégszerepelt, mert elmondása szerint már Hegyeshalomnál honvágya volt. A nyolcvanas évek végétől – engedve az egyre szaporodó felkéréseknek – a világ legnagyobb operaházaiban lépett színpadra. Énekelt a milánói Scalában, a Houstoni Nagy Operában és a New York-i Metropolitanben, ahol 1994-1995-ben a többi közt Mozart Figaro házasságában, Sosztakovics Kisvárosi Lady Macbethjében és Donizetti Szerelmi bájitalában aratott sikert. Az oregoni Portland Operában 2002-ig rendszeresen vendégszerepelt.

Pályája elején két vágya volt: elénekelni a János passió Jézusát és Mozart A varázsfuvolájának Sarastróját. Mindkét szerepálma teljesült. Az operákat eredeti nyelven, olaszul, németül, oroszul, csehül, az oratóriumokat latinul énekelte. Talán legnagyobb hazai sikerét Verdi Falstaffjában aratta, mert ez a szerep állt legközelebb egyéniségéhez, pedig a lovag bariton hangra íródott. Egyik legkedvesebb szerepe Donizetti Don Pasqualéja volt, emlékezetes alakítást nyújtott Don Basilióként (Rossini: A sevillai borbély), Mefisztóként (Gounod: Faust), Ozminként (Mozart: Szöktetés a szerájból), Borisz Godunovként Muszorgszkij operájában.

Gregor József (Fotó/Forrás: Szegedi Nemzeti Színház)

Száznál több lemezt készített, több ezer operaelőadásban és hangversenyen működött közre, számos rádió- és tévéfelvétele készült. 2003-ban 1 forint jelképes gázsiért állította színpadra Verdi Don Carlos című operáját a Szegedi Nemzeti Színházban. A Szegedi Szabadtéri Játékokon Madách Imre Az ember tragédiája előadásában az Úr hangja volt, és a Dóm téren szerepet kapott Kálmán Imre Csárdáskirálynőjében is. A több műfajban is otthonosan mozgó énekes Az én utam magyar címmel elénekelte Frank Sinatra My Way című világhírű dalát, és több musicalben is színpadra lépett. Volt Tevje is a Hegedűs a háztetőn című musicalben (ebben színésznő lányával, Gregor Bernadette-tel játszott együtt), szerepelt Móricz Zsigmond Légy jó mindhalálig című regényének musicalváltozatában, Andrew Lloyd Webber és Tim Rice Jézus Krisztus Szupersztár című rockoperájában Kajafás főpap ruháját vette magára.

A budapesti Broadwayn, a Nagymező utca aszfaltján a magyar halhatatlanok örökös társulatának tagjaként ő is elhelyezte lábnyomát. Mindeközben tősgyökeres szegedi maradt, ahol 2001-ben Pro Urbe díjat kapott, 2003-ban a Tisza-parti város, 2006-ban pedig Fejér megye díszpolgára lett. Sokszor járt fellépésre gárdonyi nyaralójukból, ahol a pihenés mellett szerepeit is szívesen tanulta, a településtől 1995-ben díszpolgári címet kapott.

A népszerű operaénekes művészetét rangos kitüntetésekkel ismerték el: 1974-ben Liszt Ferenc-díjat kapott, 1979-ben érdemes művész, 1983-ban kiváló művész lett. A Kossuth-díjat 1999-ben kapta meg az operairodalom basszus szerepeinek kiváló megformálásáért, a hazai zeneirodalom értékeinek nemzetközi képviseletéért. 2002-ben Székely Mihály-emlékplakettet vehetett át, 2006-ban a Magyar Köztársasági Érdemrend középkeresztje a csillaggal (polgári tagozat) kitüntetésben részesült.

Gregor József 2006. október 27-én hunyt el Szegeden, súlyos betegséget követően. A The New York Times méltatásában azt írta róla: hatalmas ember volt hatalmas hanggal és lenyűgöző színészi képességgel. A világhírű énekes emlékét a Szegedi Nemzeti Színházban tábla őrzi, Rákosligeten és a csongrádi megyeszékhelyen nevét általános iskola viseli. Hetvenedik születésnapján bronz mellszobrot (Bánvölgyi László, 2010) emeltek tiszteletére a szegedi Dóm tér színpadához közeli Nemzeti Pantheonban. 2014-ben Székesfehérvárott negyedik alkalommal rendezték meg a nevével alapított énekversenyt.