Skozi pesem Selena poje o čustveni teži skupnega prenašanja spominov na njuno preteklost, zaradi česar se težko popolnoma opusti in začne novo poglavje v svojem življenju. Obžaluje dejstvo, da čeprav sta fizično ločena, prisotnost njenega nekdanjega partnerja še vedno zavzema velik prostor v njenih mislih in čustvih, kot vztrajni duh.
Besedila se poglabljajo v bolečino ob opominih na preteklost, s sklicevanjem na "tvoj smeh" in "besede, ki si jih govoril," pa tudi v boj, da bi našli zaključek in se premaknili naprej, ne da bi popolnoma izbrisali spomine na odnos. Selenino hrepenenje po preteklosti je otipljivo, ko poje o tem, da želi pozabiti in biti svobodna, a se ne more rešiti stiske, ki jo imajo ti spomini.
Navsezadnje "Ghost of You" izraža intenzivnost čustvenega davka, ki ga lahko povzroči razhod, zlasti ko se ena oseba trudi opustiti in sprejeti, da se je razmerje končalo. Pesem odmeva pri vseh, ki so izkusili grozljive ostanke pretekle ljubezni in izzive krmarjenja po poti do ozdravitve in iskanja zaključka po tem, ko se pomembno razmerje konča.