Jack Sherman 1956-ban született. 1983 decemberében csatlakozott a Red Hot Chili Peppers nevű, akkor induló együtteshez. Részt vett a zenekar első albumának munkálataiban és a RHCP első amerikai turnéján. Ő volt a társszerzője a banda második, Freaky Styley névre keresztelt nagylemezének.
A közös munka azonban rövidnek bizonyult, 1985-ben a korábbi tag, Hillel Slovak váltotta Shermant.
Később Bob Dylan lemezein is gitározott.
Az Index cikk szerint kifejezetten rosszul érintette a gitárost, hogy 2012-ben a Red Hot Chili Peppers tagjaival ellentétben őt nem választották be a Rock And Roll Hall Of Fame-be.