Johnson se je rodil v Cantonu v Južni Dakoti in odraščal na kmetiji. Na Univerzi v Južni Dakoti je leta 1982 diplomiral iz politologije. Potem ko je več let delal kot zakonodajni pomočnik, je bil leta 1986 izvoljen v predstavniški dom Južne Dakote. V tem domu je služboval šest let, od tega dve leti kot govornik.
Leta 1996 je bil Johnson izvoljen v ameriški senat in premagal sedanjega republikanca Larryja Presslerja. Leta 2002 je bil ponovno izvoljen za drugi mandat, leta 2008 pa za tretji mandat.
Johnson je bil znan po svojih zmernih političnih pogledih in pripravljenosti sodelovati tako z republikanci kot z demokrati. Bil je tudi velik zagovornik kmetijstva in razvoja podeželja.
Leta 2014 je Johnson napovedal, da ne bo kandidiral za četrti mandat v senatu. Kot razlog za svojo odločitev je navedel zdravstvene težave, med drugim možgansko kap, ki jo je doživel leta 2006.
Johnson je zapustil senat leta 2015. Zdaj je upokojen in živi v Vermilionu v Južni Dakoti.