El Sigma Olomouc hunde sus raíces en 1919, cuando se fundó en Olomouc como FK Hejčín Olomouc, adoptando su nombre actual solo en 1996 tras una serie de cambios ligados a sus patrocinadores, entre ellos la empresa industrial Sigma, que dio al club su identidad duradera. El Sigma llegó por primera vez a la Primera Liga checoslovaca en la temporada 1982-83, y tras la llegada del entrenador Karel Brückner se convirtió en un miembro permanente de la máxima categoría del país desde 1984, terminando tercero en la liga en varias ocasiones durante los años noventa y principios de la década de 2000, y subcampeón en 1995-96.
Fue durante la era de Brückner cuando el Sigma logró su resultado más celebrado en competición europea. En septiembre de 1999, en un partido de segunda ronda de la Copa de la UEFA, el club venció al turco Fenerbahçe por 7-1 en la vuelta, ganando la eliminatoria por 7-2 en el global, antes de caer en la siguiente ronda ante la Juventus. En cuanto a la fase alcanzada, sin embargo, la mejor campaña europea del Sigma llegó antes, en la Copa de la UEFA 1991-92, cuando el equipo alcanzó los cuartos de final, todavía su mejor actuación en una gran competición europea. Aquella campaña incluyó también un memorable encuentro con el Real Madrid, en el que un Radoslav Látal de 18 años se ganó el apodo del "líbero más joven de Europa" después de que Brückner confiara en él para el once titular.
A nivel doméstico, el primer gran título del Sigma no llegó hasta la temporada 2011-12, cuando el club ganó tanto la Copa checa como la Supercopa checa, un logro al que siguió el descenso de la máxima categoría en 2014 y un regreso inmediato la temporada siguiente tras ganar la segunda división. En la temporada 2024-25, el Sigma sumó una segunda Copa checa, venciendo al Sparta de Praga en la final y asegurándose la clasificación para competición europea.
Apodado Hanáci, en referencia a la región circundante de Haná, en Moravia, el Sigma disputa sus partidos como local en el Andrův stadion de Olomouc, y sigue siendo, junto al Baník Ostrava, uno de los principales representantes del fútbol de Moravia en el sistema de ligas checo actual.