Vendar je res, da se je v svoji karieri soočal s kritikami in polemiko, kar je vodilo do nekaj napetosti z omrežji in gledalci.
Tu je nekaj primerov, kaj bi lahko prispevalo k tej percepciji:
* Kritike športnikov: Cosell je bil znan po tem, da je kritiziral uspešnost športnikov, pogosto s tupim in nefiltriranim slogom. To je včasih privedlo do javnih spopadov z igralci.
* Rasni in družbeni komentar: Znan je bil tudi po tem, da se je lotil družbenih in rasnih vprašanj, včasih na način, ki se je štel za neobčutljivo ali žaljivo.
* Spopad z omrežji: Imel je nekoliko borbeni odnos z omrežji, pogosto je izzival njihovo avtoriteto in s svojim komentarjem potisnil meje.
Medtem ko ni bilo nikoli niti enega incidenta, ki bi privedel do njegovega odstranitve od radiodifuzije, so ti dejavniki prispevali k dojemanju njega kot kontroverznega figura. Na koncu se je upokojil iz oddajanja leta 1985, vendar je bilo to bolj posledica njegove starosti in zdravja kot kakršne koli posebne polemike.