Nobenega dvoma ni, da je bil Dickens navdušen nad Ternanovo. Pisal ji je strastna pisma, ki so vsebovala eksplicitne spolne omembe. V nekem pismu je zapisal, da si želi "okusiti ta zrela rdeča usta ... požreti [njeno] slastno telo."
Vendar obseg njunega fizičnega odnosa ni znan. Nekateri biografi menijo, da dejansko nikoli nista seksala, medtem ko drugi menijo, da sta.
Jasno je, da je odnos sčasoma postal breme za Dickensa. Počutil se je krivega, ker je prevaral svojo ženo, in skrbel ga je javni škandal.
Leta 1858 je Dickens končal afero in Ternana poslal v tujino v Francijo. Čez nekaj let se je vrnila v Anglijo, a Dickensa ni nikoli več videla.
Sama Ternan ni nikoli javno spregovorila o svojem odnosu z Dickensom. Po besedah enega od njenih sorodnikov jo je "odnesla v grob."
Čeprav podrobnosti o njunem razmerju morda nikoli ne bodo znane, ni dvoma, da je bila romanca med Charlesom Dickensom in Ellen Ternan pomembna in na koncu tragična.