Connery se je rodil v Edinburghu na Škotskem leta 1930. Njegov oče je bil tovarniški delavec, mati pa čistilka. Connery je pustil šolo pri 13 letih in začel delati kot mlekar. Kasneje se je pridružil Kraljevi mornarici, kjer je služil tri leta.
Conneryjeva igralska kariera se je začela v zgodnjih petdesetih letih prejšnjega stoletja, ko je nastopil v številnih manjših vlogah v britanskih filmih. Njegov veliki uspeh je prišel leta 1962, ko je bil izbran za vlogo Jamesa Bonda v filmu Dr. No. Film je bil velik uspeh in Connery je hitro postal eden najbolj priljubljenih igralcev na svetu.
Connery je še naprej igral Jamesa Bonda v še šestih filmih, med njimi Iz Rusije z ljubeznijo (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) in Never Say Never Again (1983). Igral je tudi v številnih drugih uspešnih filmih v šestdesetih in sedemdesetih letih prejšnjega stoletja, vključno z The Great Escape (1963), Murder on the Orient Express (1974) in The Man Who Would Be King (1975).
V osemdesetih letih je Conneryjeva kariera začela upadati. Igral je v številnih slabo sprejetih filmih, vključno z Outland (1981), Never Say Never Again (1983) in The League of Extraordinary Gentlemen (2003). Vseeno pa je prejel nekaj odobravanja kritikov za svoje vloge v filmih The Untouchables (1987), Indiana Jones in zadnja križarska vojna (1989) in The Rock (1996).
Connery se je igralsko upokojil leta 2006. Za svoje delo je prejel številne nagrade, vključno z oskarjem, dvema nagradama BAFTA in tremi zlatimi globusi. Leta 2000 ga je kraljica Elizabeta II.