Joachim je bil čudežni otrok in je debitiral pri sedmih letih. Študiral je pri Stanisławu Serwaczyńskem in kasneje pri Ferdinandu Davidu na konservatoriju v Leipzigu. Študiral je tudi kompozicijo pri Moritzu Hauptmannu.
Joachima je kariera solista vodila po vsej Evropi in nastopal je s številnimi vodilnimi orkestri tistega časa. Bil je tudi komorni glasbenik in je nastopal s številnimi vodilnimi glasbeniki svojega časa, vključno s Claro Schumann, Johannesom Brahmsom in Josephom Hellmesbergerjem, starejšim.
Joachim je bil tudi predan učitelj in je od leta 1869 do 1907 poučeval na dunajskem konservatoriju. Bil je tudi ustanovitelj kvarteta Joachim, ki je bil eden najbolj priznanih godalnih kvartetov tistega časa.
Joachim je močno vplival na razvoj igranja violine, njegovi nauki pa so močno vplivali na violiniste po vsem svetu. Velja za enega največjih violinistov vseh časov, njegova zapuščina pa še danes navdihuje in izobražuje glasbenike.