Njegovo najbolj opazno delo je bilo s kvintetom Cannonball Adderley v sedemdesetih letih prejšnjega stoletja, sodeloval pa je tudi s številnimi drugimi uglednimi jazz glasbeniki, vključno s Theloniousom Monkom, Milesom Davisom, Dizzyjem Gillespiejem, Dexterjem Gordonom in Herbiejem Hancockom.
Poleg svojega dela kot spremljevalec je Poole izdal tudi več solo albumov, vključno z "The Essence of John Poole" (1977), "Sweet Lucy" (1978) in "Blue Planet Man" (1980).
Poole je tudi skladatelj in aranžer ter je pisal glasbo za film in televizijo. Poučeval je tudi jazz in latino tolkala na Univerzi Južne Kalifornije in Kalifornijskem inštitutu za umetnost.
Poole je leta 2004 in 2005 prejel nagrado Združenja jazz novinarjev za "bobnarja leta", je pa tudi član Nacionalne akademije za snemalno umetnost in znanost (NARAS).