Tukaj je tisto, kar vemo:
* Ni dokazov o športu: Ni nobenih zgodovinskih zapisov, da bi Madison sodelovala v kakršnih koli organiziranih športnih ali telesnih dejavnostih.
* Omejene prostočasne dejavnosti: Madisonovo življenje so večinoma zajele politika in intelektualna prizadevanja. Bil je požrešen bralec, natančen opazovalec vlade in predan študent zgodovine in filozofije.
* Jahanje: Čeprav Madison ni bil šport, je bilo znano, da uživa v jahanju, verjetno za prevoz in rekreacijo.
* Vrtnarjenje: Madison se je zelo zanimal tudi za kmetovanje in vrtnarjenje, pogosto je upravljal svoje posestvo.
Skratka, življenje Jamesa Madisona je bilo osredotočeno na intelektualna prizadevanja in javno službo, z omejenimi dokazi o kakršnih koli pomembnih atletskih ali rekreativnih hobijih.