Besedilo pesmi poudarja čustveni nemir in notranji konflikt, ki ga moški doživlja. Priznava, da še vedno »vsak večer in dan« razmišlja o bivši in da se »ne more kaj, da se ne bi vprašal«, ali tudi ona misli nanj. Priznava, da bi moral iti naprej, a ugotovi, da tega ne more storiti, saj je njegovo srce še vedno povezano z njo.
Refren poudarja moško nezmožnost vračanja ljubezni, ki mu jo ponuja nekdo drug. Poje:"Ne morem te nazaj ljubiti, čeprav se zelo trudiš" in "Še vedno se držim duha tega, kar sva imela." To nakazuje, da čustveno ni na voljo za novo razmerje in da ga še vedno razjedajo čustva do bivše partnerice.
Skozi celotno pesem moški izraža svoje hrepenenje po preteklosti in željo, da bi bil znova s svojo bivšo. Poje:"Želim si, da bi se lahko vrnil in razveljavil vse stvari, ki smo jih naredili" in "Želim si, da bi te lahko spet držal v rokah." To nakazuje, da obžaluje razhod in se trudi sprejeti resničnost njune ločitve.
Na splošno je "I Can't Love You Back" pretresljiva pesem o zlomljenem srcu, izgubi in izzivih, ki jih prinaša prehod iz pretekle zveze. Ujame čustveni nemir in ranljivost nekoga, ki se še vedno spopada s posledicami razhoda in ne more znova najti ljubezni.