Waldron 1926 augusztus 16-án született New Yorkban. Pályája kezdetén játszott Ike Quebec-kel, Della Reese-zel, Big Nick Nicholasszal és számos r&b zenekarral. Munkássága két legfontosabb állomásának 1954-56 között a Charles Mingus mellett, majd 1957-59 között a Billie Holiday oldalán eltöltött időt tekinthetjük. Emellett Waldron zeneszerzői munkáját is fontos megemlíteni: számos filmzenét és színpadi zenét is szerzett.

1960-tól vezette saját együtteseit, s rövid ideig John Coltrane zongoristája volt miután a szaxofonos otthagyta Miles Davis zenekarát. Munkájának köszönhetően Európába vezetett az útja, ahol 1965-ben le is telepedett. Ezek után is turnézott világszerte, és többek közt Steve Lavyvel és Oliver Lake-kel játszott.