A zeneszerző Budapesten született 1927. november 8-án. Zenei tanulmányait viszonylag későn, 12 éves korában kezdte. 1947 és 1954 között Viski János és Farkas Ferenc növendékeként zeneszerzést tanult a Liszt Ferenc Zeneművészeti Fősikolán, majd ugyanott Ferencsik János, Kórodi András és Somogyi László irányításával folytatott karmesteri tanulmányokat. 1948 és 1969 között több budapesti kórust vezényelt.

Csaknem fél évszázados alkotói időszakában instrumentális műveket, dalokat, kantátákat egyaránt komponált. Alkotásai közül nyolcvan-kilencven mű Magyarországon, mintegy ötven pedig külföldön (Darmstadtban, Pohlheimben, Frankfurtban, Tokióban, Moszkvában, Bostonban, Helsinkiben) jelent meg.

Karai Józsefet szoros szálak fűzték a kórusélethez. Sok magyar és külföldi énekkarral állt alkotói kapcsolatban. Műveit Európa szinte valamennyi országában előadták, de elhangzottak kompozíciói Ausztráliában, az Egyesült Államokban, Japánban és Kanadában is. 1998-ban a római Santa Maria in Vivario plébániatemplomban tartott Euro Festival Mariano verseny zsűrije az első díjat Karai József Ritmus és Mária-ének című, eddig kiadatlan kompozíciójának ítélte oda, amelyet Zákányi Zsolt vezényletével adott elő a kaposvári Vikár Béla Kórus. Zeneszerzőként egyszerre kereste az újat és az éneklés ősi örömét, alkotásait éppúgy szánta hivatásos kórusoknak, mint amatőröknek.