FK Sarajevo powstał 24 października 1946 roku z połączenia dwóch lokalnych klubów – Udarnika i Slobody – i już trzy lata później przyjął nazwę, pod którą występuje do dziś. Wśród założycieli klubu wymienia się Safeta Džinovicia, pierwszego przewodniczącego, a w 1948 roku do drużyny dołączył jugosłowiański piłkarz Miroslav Brozović, który jako grający trener poprowadził zespół do awansu do najwyższej ligi Jugosławii.
W sezonie 1966/67 FK Sarajevo jako pierwszy klub z Bośni i Hercegowiny sięgnął po mistrzostwo Jugosławii, co otworzyło drużynie drogę do Pucharu Europy. W rozgrywkach 1967/68 zespół wyeliminował cypryjski Olympiakos Nicosia, a w kolejnej rundzie zmierzył się z Manchesterem United – po bezbramkowym remisie w Sarajewie klub odpadł po porażce 1:2 na Old Trafford z drużyną, która tego sezonu sięgnęła po trofeum. Drugi tytuł mistrzowski Jugosławii FK Sarajevo zdobył w sezonie 1984/85.
Po uzyskaniu niepodległości przez Bośnię i Hercegowinę klub pozostał jedną z czołowych drużyn kraju, zdobywając pięć mistrzostw Premijer ligi oraz osiem krajowych pucharów, co czyni go trzecim najbardziej utytułowanym klubem w historii bośniackiej ekstraklasy, za HŠK Zrinjski i FK Željezničar. W sezonie 2018/19 FK Sarajevo zdobył dublet – mistrzostwo i puchar kraju. Od 2013 roku właścicielem klubu był malezyjski biznesmen Vincent Tan, a od marca 2019 roku klub prowadzi wietnamska grupa inwestycyjna PVF pod kierownictwem Nguyễn Hoàia Nama.
Swoje mecze domowe zespół rozgrywa na stadionie Asima Ferhatovicia, nazwanym na cześć jednego z najsłynniejszych zawodników w historii klubu, występując w tradycyjnych barwach bordowo-białych, od których pochodzi popularny przydomek „Bordo-bijeli”.