V četrtem stoletju je sveti Ambrož, milanski škof, uvedel antifonalno petje, kjer zbor poje izmenično verz psalma ali himne. V petem stoletju je sveti Gregor Veliki, rimski papež, standardiziral liturgijo in vzpostavil sistem osmih glasbenih načinov. Ta sistem, znan kot gregorijanski koral, je stoletja postal primarna oblika glasbe v katoliški cerkvi.
V srednjem veku so se začele razvijati različne druge oblike cerkvene glasbe, kot so liturgične drame, polifonija in orgelska glasba. Polifonija, kjer se dve ali več glasbenih linij poje hkrati, je postala pomembna v 12. stoletju.
V 16. stoletju je Martin Luther začel protestantsko reformacijo. To je privedlo do razvoja različnih stilov cerkvene glasbe, kot sta luteranski koral in anglikansko petje. Ti žanri še danes ostajajo pomemben del krščanskega bogoslužja.
V 19. in 20. stoletju se je obnovilo zanimanje za študij in izvajanje zgodnje cerkvene glasbe, kot so gregorijanski koral in dela Palestrine. Prišlo je tudi do izliva nove sakralne glasbe, sestavljene v različnih slogih.