Nem készült énekesnek, hegedülni tanult a Bartók Béla Zeneművészeti Szakiskolában, amikor azonban a helybeli katolikus templom kántora 1956-ban disszidált, időnként ő helyettesítette. Egyszer meghallotta egy zenetanár, és rábeszélte, hogy felvételizzen a budapesti konzervatóriumba. Három évet tanult ott, de utána inkább a Liszt Ferenc Zeneművészeti Főiskola ének tanszakára felvételizett, de azt sem fejezte be.

Énekesi pályája tulajdonképpen a Magyar Néphadsereg Művészegyüttesének férfikórusában kezdődött, amelynek 1958 óta tagja volt. 1964-ben innen ment szegedi próbaéneklésre, ahol azután tizennégy esztendeig dolgozott a legendás karmester, Vaszy Viktor irányítása alatt. 1987-ig a Szegedi Nemzeti Színház magánénekese, 1976-tól a budapesti Operaház állandó vendégművésze, 1987-89-ben a győri Kisfaludy Színház tagja, ezt követően a szegedi operatársulat igazgatója volt. Minden fellépését kiegyenlített hang, mély átélés és nagyszerű karakterformálás jellemezte.
Az operarepertoár minden nagy basszus szerepét elénekelte. Érdekesség, hogy Verdi Falstaffja ugyan nem basszus szólam, szegedi fellépéseinek mégis egyik legnagyobb sikerét aratta vele. Először nem akarta vállalni, mert maga sem gondolta, hogy képes lesz ilyen Pályafutása első felében nem énekelt külföldön, mondván, hogy neki már Hegyeshalomnál honvágya van. Utóbb aztán engedett az egyre szaporodó felkéréseknek, énekelt a milanói Scalában, a New York-i Metropolitanben, fellépett Európa szinte minden operaházában. Az operákat eredeti nyelven, olaszul, németül, oroszul, csehül, az oratóriumokat latinul énekelte. Száznál több lemezt készített, több ezer operaelőadásban és hangversenyen működött közre, számos rádió- és tévéfelvétele készült. 2003-ban 1 forint jelképes gázsiért állította színpadra Verdi Don Carlos című operáját a Szegedi Nemzeti Színházban. A budapesti Broadwayn, a Nagymező utca aszfaltján ő is elhelyezte lábnyomát, ezzel tagja lett a magyar előadó-művészet halhatatlanjai örökös társulatának. 2003-ban Szeged díszpolgára lett. Ha csak tehette, gyalog vagy villamossal közlekedett, kiélvezve népszerűségét, a szegediek nemcsak művészetéért, hanem természetes közvetlenségéért is szerették. Munkáját rangos kitüntetésekkel ismerték el: 1974-ben Liszt-díjat kapott, 1979-ben érdemes művész, 1983-ban kiváló művész lett, a Kossuth-díjat 1999-ben kapta. 2006 szeptemberében bejelentette visszavonulását, október 22-én a Magyar Köztársasági Érdemrend középkeresztje a csillaggal (polgári tagozat) kitüntetésben részesült. A kitüntetést betegsége miatt már felesége vette át, Gregor József 2006. október 27-én hunyt el Szegeden.
2008-tól egy általános iskola viseli nevét a csongrádi megyeszékhelyen. Bronz mellszobra (Bánvölgyi László, 2010), a szegedi Dóm tér színpadától száz méterre a Nemzeti Pantheonban látható.