Nat King Cole se je poročil z Mario Ellington 25. decembra 1936 v Chicagu, na vrhuncu svojega prvega kariernega vzpona. Bila sta srečno poročena 20 let in posvojila pet otrok; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (april 1941) in dve dekleti Carol "Cookie" Cole (1944) in Maria Cole (1947). Njun sin Nat Kelly Cole je postal znan pevec, tekstopisec in igralec.
28. decembra 1956 je Maria Cole nepričakovano umrla za pljučnim rakom v starosti 45 let, kar je Nat pustilo globoko uničeno in zlomljeno. Bil je vdovec, dokler se 8. julija 1965 ni poročil s pevko Mario Hawkins. Skupaj sta ostala do prezgodnje smrti Nata Kinga Cola leta 1965.
Spor o očetovstvu
V devetdesetih letih prejšnjega stoletja se je oglasila ženska po imenu Lorna Coles, ki je trdila, da je hči Nata Kinga Colea iz kratke afere, ki jo je imel z njeno mamo leta 1947. DNK testiranje je potrdilo, da je Lorna Coles res biološki otrok Nata Kinga Colea.