Simbol lobanje in prekrižanih kosti so vojaške enote uporabljale že stoletja za označevanje nevarnosti in smrti. V primeru zastave Rough Riders so lobanja in prekrižene kosti predstavljale tudi moto polka:"We Ride or We Die." Rdeča barva je bila izbrana za zastavo, ker je barva krvi in bojevanja.
Zastava Rough Riders je simbol poguma, odločnosti in žrtvovanja. Predstavlja pogumne može, ki so se borili v špansko-ameriški vojni in pomagali Ameriki narediti velik narod. Zastava je tudi opomin na pomen svobode in demokracije ter na žrtve, ki so bile vložene za zaščito teh idealov.