Izraz naj bi izviral iz Združenih držav Amerike v 19. stoletju, ko so bili šerifi izvoljeni uradniki, odgovorni za kazenski pregon v svojih okrožjih. Ko je bil izvoljen novi šerif, so pogosto pripeljali svoje namestnike in spremenili način izvajanja kazenskega pregona. To bi lahko privedlo do znatnih sprememb v lokalni skupnosti, saj bi lahko imel novi šerif drugačen pristop do kazenskega pregona ali dal prednost drugačnim vprašanjem kot prejšnji šerif.
Sčasoma se je besedna zveza "novi šerif v mestu" začela uporabljati širše za vsako novo osebo na oblasti, ki prinaša spremembe ali pomembno vpliva na svoje območje. Zdaj se pogosto uporablja v različnih kontekstih, kot so politika, posel in šport.