Dickens je Ellen Ternan spoznal leta 1857, ko je bila ona stara komaj 18 let, on pa 45. Ternanova je bila odrska igralka in Dickens je bil takoj navdušen nad njo. Začela sta skrivno afero, ki je trajala več let.
Dickens in Ternan sta bila zelo zaljubljena in nameravala sta se poročiti, potem ko se je Dickens ločil od svoje žene Catherine. Vendar pa Dickensova žena ni hotela odobriti ločitve, zato s Ternan nikoli nista mogla biti odkrito skupaj.
Leta 1865 sta imela Dickens in Ternan skupaj otroka, sina po imenu Charles. Dickens je bil presrečen, da je spet oče, in oboževal je svojega sina. Vendar je za otroka izvedela njegova žena, ki je bila besna. Zagrozila je, da bo afero razkrila javnosti, in Dickens je bil prisiljen prekiniti odnos s Ternanovo.
Dickens in Ternan se po letu 1865 nikoli več nista videla. Dickens je umrl leta 1870, Ternanova pa je živela do leta 1914. Nikoli se ni poročila in nikoli ni imela drugih otrok.