Majhna skupina babilonskih Judov je po perzijskem osvajanju ostala v Babilonu in so pozneje odigrali pomembno vlogo pri razvoju judovske kulture in vere v obdobju drugega templja. Babilonski Talmud, eno najpomembnejših besedil judovske zakonodaje, je bil sestavljen v Babilonu v tem času.
V 7. stoletju našega štetja so Babilon osvojili arabski muslimani in postal je del islamskega sveta. Mesto je še naprej propadalo in do 10. stoletja je bilo večinoma opuščeno. Danes ruševine Babilona ležijo blizu mesta Hillah v današnjem Iraku.