Hirt se je rodil v New Orleansu v Louisiani očetu glasbeniku in materi gospodinji. Trobento je začel igrati pri šestih letih, do srednje šole pa je že profesionalno igral v lokalnih klubih. Potem ko je med drugo svetovno vojno služil v ameriški mornarici, se je Hirt vrnil v New Orleans in nadaljeval svojo glasbeno kariero.
Leta 1950 se je Hirt pridružil skupini trobentača Louisa Prima in s Primo je bil več let na turneji. Leta 1957 je Hirt zapustil Primovo skupino in ustanovil svojo skupino. Hitro je postal eden najbolj priljubljenih jazzovskih trobentačev na svetu in posnel vrsto uspešnic.
Hirt je bil poleg glasbene kariere tudi uspešen televizijski voditelj. Od leta 1964 do 1968 je vodil lastno varietejsko oddajo, "The Al Hirt Show," od leta 1964 do 1968. Pojavil se je tudi v številnih drugih televizijskih oddajah, vključno z "The Tonight Show Starring Johnny Carson", "The Ed Sullivan Show," in "The Merv Griffin Pokaži."
Hirt je umrl za rakom v New Orleansu leta 1999. Star je bil 76 let.