FK Sarajevo se fundó el 24 de octubre de 1946 tras la fusión de dos clubes locales, Udarnik y Sloboda, y adoptó su nombre actual tres años más tarde. Entre los fundadores del club figura Safet Džinović, su primer presidente, mientras que en 1948 el futbolista yugoslavo Miroslav Brozović se incorporó como jugador-entrenador y llevó al equipo al ascenso a la máxima categoría de Yugoslavia.
En la temporada 1966-67, el FK Sarajevo se convirtió en el primer club de Bosnia y Herzegovina en conquistar el título de la Primera Liga yugoslava, lo que le abrió las puertas de la Copa de Europa. En 1967-68 el club eliminó al chipriota Olympiakos Nicosia antes de enfrentarse al Manchester United en la siguiente ronda; tras un empate sin goles en Sarajevo, cayó 2-1 en Old Trafford ante el eventual campeón. El club logró su segundo título yugoslavo en la temporada 1984-85.
Tras la independencia de Bosnia y Herzegovina, el FK Sarajevo siguió siendo uno de los clubes más destacados del país, con cinco títulos de la Premier League bosnia y ocho copas nacionales, lo que lo convierte en el tercer club más laureado de la máxima categoría, por detrás del HŠK Zrinjski y el FK Željezničar. En la temporada 2018-19 el club logró el doblete de liga y copa. El empresario malasio Vincent Tan fue propietario del club desde 2013, y desde marzo de 2019 lo dirige el grupo inversor vietnamita PVF, encabezado por Nguyễn Hoài Nam.
El equipo disputa sus partidos como local en el estadio Asim Ferhatović, bautizado en honor a uno de sus jugadores más emblemáticos, y viste los tradicionales colores granate y blanco que dan origen a su popular apodo, los «Bordo-bijeli».