1926-tól Toledóban hivatásos zongorista lett. 1932-ben New Yorkba ment, ahol a következő év márciusán első alkalommal készített önálló lemezfelvételt, amelyen többek között a Tea for Two-t és a Tiger Rag-ot játszotta. Ezután Clevland-ben dolgozott, majd Chicagóban együttest vezetett. 1937-től Tatum neve széles körben ismertté vált, rádió show-kban és New York-i klubokban játszott. A következő évben Angliában turnézott, valamint gyakran vendégeskedett New Yorkban és Los Angelesben. Nat ’King’ Cole sikeres triójának mintájára 1943-ban létrehozta saját trióját, amelyben Slam Stewart bőgőzött és Tiny Grimes gitározott; később Everett Barksdale (elektromos gitár) is tagja volt az együttesnek.

Tatum 1944-ben a Metropolitanben adott jazz-koncertet. 1947-ben a The Fabulous Dorseys című filmben szerepelt. Rendszeresen játszott éjszakai klubokban, rádiós showműsorokban és stúdiókban. 1953-tól Norman Granz hangmérnökkel dolgozott együtt; kamarapartnerei közé tartozott Benny Carter, Roy Eldridge és Ben Webster. Szólófelvételei élénk fantáziáról tanúskodnak. 1956. november 5-én halt meg Los Angelesben.