Johnson se je rodil v Indianapolisu v Indiani. Pozavno je začel igrati pri 11 letih. Študiral je na glasbenem konservatoriju Arthurja Jordana in glasbeni šoli univerze Indiana.
Johnson se je leta 1942 preselil v New York in hitro postal eden najbolj iskanih pozavnistov v mestu. Igral je s Charliejem Parkerjem, Dizzyjem Gillespiejem, Budom Powellom in drugimi legendami bebopa.
V petdesetih letih prejšnjega stoletja je Johnson začel raziskovati hard bop, novejši, bolj agresiven stil jazza. S svojimi skupinami je posnel več vplivnih albumov, med drugim "The Eminent Jay Jay Johnson Volume 1" (1954) in "Jay Jay Johnson with Clifford Brown" (1955).
Johnson je nadaljeval s turnejami in snemanjem v šestdesetih in sedemdesetih letih prejšnjega stoletja. Poučeval je tudi na Berklee College of Music in Manhattan School of Music.
Johnson je umrl zaradi srčnega infarkta v Indianapolisu leta 2001. Bil je star 77 let.
Johnson je bil mojster pozavne. Imel je edinstven zvok, ki je bil takoj prepoznaven. Bil je tudi nadarjen improvizator in skladatelj. Njegova glasba je vplivala na nešteto pozavnistov po vsem svetu.
Tukaj je nekaj Johnsonovih najbolj znanih skladb:
* "Žalost"
* "Ezz-thetic"
* "Enigma"
* "Zvezdni prah"
* "Blue Funk"