Magyar származású hegedűművész, pedagógus, zeneszerző. 1831. június 28-án látta meg a napvilágot Köpcsényben, zsidó szülők nyolc gyermeke közül hetedikként. Első hegedűleckéit öt évesen kapta Stanislaw Serwaczynski-től, a pesti német színház koncertmesterétől, akit a „lengyel Paganini”-ként is emlegettek. A kis Joachim tanárával együtt lépett fel nyolc évesen.

1839 nyarán a fiút Bécsbe küldték, ahol Hauser Miska, Georg Hellmesberger, majd Joseph Böhm voltak mesterei. 1843-tól Joachim a Lipcsei Konzervatórium növendéke lett. Zeneszerzést is tanult Hauptmann-nál és David-nál. Első koncertjét a városban Clara Schumann és Felix Mendelssohn társaságában adta a Gewandhaus-ban. Londonban 1844 márciusában debütált, aminek sikere megnyitotta előtte a rendszeres vendégszereplések kapuját. 1847-től a Gewandhaus helyettes koncertmestereként és a konzervatórium tanáraként dolgozott.

1850-ben Weimarba költözött, és a Liszt vezette zenekar koncertmestere lett. Ugyanakkor szoros barátság fűzte Robert Schumannhoz és Johannes Brahmshoz is. Végül a romantika konzervatívabb irányzata mellett döntött, és 1860-ban hivatalosan is elhatárolta magát a Liszt és Wagner által képviselt új német iskolától. 1853 és 1865 között a hannoveri udvari zenekar szólistája volt.

1863-ban feleségül vette Amalie Weiss-t, a híres mezzoszoprán énekesnőt, aki Brahms és Scumann dalainak elismert előadója volt. 1866-ban Berlinben telepedett le. Az ottani Zeneakadémia igazgatása mellett 1867-ben megalapította világhírű vonósnégyesét. 1907. augusztus 15-én hunyt el Berlinben.