Terrell se je rodila v Philadelphiji v Pensilvaniji in je svojo kariero začela kot najstnica, ko je pela v različnih lokalnih skupinah. Leta 1961 je podpisala pogodbo z Motown Records in izdala svoj debitantski solo singel "I Can't Believe You Love Me". Pesem je bila manjša uspešnica, vendar je Terrellu pomagala pridobiti priznanje v organizaciji Motown.
Leta 1964 je Terrell posnel duet "Ain't No Mountain High Enough" z Marvinom Gayeem. Pesem je postala velika uspešnica, dosegla je prvo mesto na lestvici Billboard Hot 100 in osvojila dve nagradi Grammy. Terrell in Gaye sta nadaljevala s sodelovanjem in izdala več uspešnih duetov, vključno z "Your Precious Love", "You're All I Need to Get By" in "If I Could Build My Whole World Around You".
Leta 1967 so Terrellu diagnosticirali možganskega raka. Prestala je operacijo in zdravljenje, vendar se je rak leta 1969 vrnil. Terrell je umrla v Philadelphiji 16. marca 1970, stara 24 let.