El FK Novi Pazar espero noventa y ocho anos para jugar en competicion europea por primera vez en su historia. El club se formo en 1928 bajo el nombre de FK Sandžak, en referencia a la region de Sandžak, cuya comunidad musulmana bosniaca sigue definiendo hoy la identidad del club. El equipo adopto su nombre actual en 1962, tras fusionarse con el club local FK Ras.
Durante la mayor parte de su historia, el Novi Pazar se mantuvo como un club regional, compitiendo en las divisiones inferiores de la antigua Yugoslavia, y uno de sus logros mas destacados en sus primeros anos fue un segundo puesto en la Segunda Liga, Grupo Este, en la temporada 1984/85, que le valio el ascenso a una categoria superior. El verdadero salto llego solo despues de que el futbol serbio se independizara: en la temporada 2011/12, el club alcanzo por primera vez en su historia la SuperLiga serbia, beneficiandose de la retirada del equipo belgradense BASK de la competicion. Tras un breve descenso en 2017, el Novi Pazar regreso a primera division en 2019 y desde entonces ha reforzado de forma constante su posicion entre la elite del pais.
Un hito historico llego en la temporada 2024/25, cuando el Novi Pazar termino tercero en la tabla de la SuperLiga -la mejor clasificacion liguera en sus casi cien anos de historia-, asegurando su primera participacion en competicion europea. En el verano de 2025, el equipo debuto en la clasificacion de la Liga Conferencia, enfrentandose al polaco Jagiellonia Białystok en la segunda ronda clasificatoria ante un estadio lleno en el Estadio Municipal de Novi Pazar. Conocido como los Plavi (los Azules), el equipo cuenta con el respaldo de tres grupos de aficionados -Ekstremi, Torcida Sandžak y Ultra Azzurro-, que durante decadas han creado uno de los ambientes de estadio mas reconocibles de Serbia.