FK Novi Pazar czekał dziewięćdziesiąt osiem lat, by po raz pierwszy w swojej historii zagrać w europejskich pucharach. Klub powstał w 1928 roku pod nazwą FK Sandžak, nawiązującą do regionu Sandżak, którego bośniacko-muzułmańska społeczność stanowi trzon klubowej tożsamości do dziś. Obecną nazwę zespół przyjął w 1962 roku, po fuzji z lokalnym FK Ras.
Przez większość swojej historii Novi Pazar pozostawał klubem regionalnym, występującym w niższych ligach byłej Jugosławii, a jednym z ważniejszych wczesnych osiągnięć było drugie miejsce w Drugiej Lidze, Grupie Wschodniej w sezonie 1984/85, dające awans do wyższej klasy rozgrywkowej. Prawdziwy przełom nastąpił dopiero po usamodzielnieniu się serbskiej piłki nożnej – w sezonie 2011/12 klub po raz pierwszy w swojej historii awansował do Superligi Serbii, korzystając z wycofania się z rozgrywek BASK-u z Belgradu. Po krótkim spadku w 2017 roku Novi Pazar powrócił do najwyższej klasy rozgrywkowej w 2019 roku i od tego czasu systematycznie umacniał swoją pozycję w krajowej elicie.
Historyczny moment nastąpił w sezonie 2024/25, gdy Novi Pazar zajął trzecie miejsce w tabeli Superligi – najwyższą lokatę w swojej stuletniej niemal historii – co po raz pierwszy otworzyło klubowi drogę do europejskich pucharów. Latem 2025 roku zespół zadebiutował w eliminacjach Ligi Konferencji, mierząc się w drugiej rundzie kwalifikacyjnej z polską Jagiellonią Białystok przed komplementem publiczności na Stadionie Miejskim w Novim Pazarze. Znani jako Plavi (Niebiescy), gracze wspierani są przez trzy grupy kibicowskie – Ekstremi, Torcida Sandžak oraz Ultra Azzurro – które od dekad tworzą jedną z bardziej rozpoznawalnych atmosfer stadionowych w Serbii.