«Кёльн» был основан 13 февраля 1948 года в результате слияния двух клубов города — «Кёльнер БК 01» и футбольного объединения «Зюльц 07», договорённость о котором была достигнута в пивной района Зюльц. Первым президентом клуба стал Франц Кремер, с самого начала стремившийся построить команду, способную побеждать в масштабах всей страны. Клубные цвета — красный и белый — были заимствованы с флага Кёльна.
Ещё до появления Бундеслиги «Кёльн» стал чемпионом Западной Германии в 1962 году, в составе с Хансом Шефером, чемпионом мира 1954 года, всю карьеру проведшим в этом клубе. Годом позже «Кёльн» вошёл в число клубов-основателей новой общенациональной Бундеслиги и уже в первом её сезоне, 1963/64, под руководством тренера Георга Кнёпфле завоевал титул чемпиона — третий в истории клуба.
В следующем сезоне «Кёльн» дошёл до четвертьфинала Кубка европейских чемпионов, где судьбу противостояния с «Ливерпулем», завершившегося после двух ничьих, решил жребий: монета после первого броска застряла в грязи вертикально, и жеребьёвку пришлось повторить. Удача в итоге оказалась на стороне английского клуба.
В 1970-е годы лицом команды стал полузащитник Вольфганг Оверат, многолетний капитан, а позднее президент клуба. В 1976 году в Кёльн вернулся тренер Хеннес Вайсвайлер, ранее не раз становившийся чемпионом Германии с «Боруссией» из Мёнхенгладбаха, — тот самый Вайсвайлер, в честь которого ещё в 1950 году был назван клубный талисман, козёл по кличке Хеннес. Под его руководством «Кёльн» выиграл Кубок Германии в 1977 году, а год спустя, в 1978-м, оформил золотой дубль, победив одновременно в чемпионате и Кубке страны. Всего клуб выигрывал Кубок Германии четыре раза — в 1968, 1977, 1978 и 1983 годах.
Крупнейшим европейским успехом клуба остаётся выход в финал Кубка УЕФА 1986 года. Уступив в Мадриде со счётом 1:5, в ответном матче «Кёльн» победил 2:0, однако этого не хватило, чтобы отыграть общий счёт, и турнир завершился поражением 3:5 от «Реала». Лучшим бомбардиром того розыгрыша стал форвард «Кёльна» Клаус Аллофс, забивший девять мячей.
По сей день одним из самых узнаваемых символов клуба остаётся живой козёл по кличке Хеннес — талисман, присутствующий на матчах с 1950 года и неразрывно связанный с кёльнским карнавалом и местной болельщицкой культурой. Die Geißböcke («Козлы») проводят домашние матчи на стадионе, десятилетиями известном как «Мюнгерсдорфер штадион», а ныне носящем коммерческое название «РейнЭнерги Штадион». Несмотря на переменчивые спортивные результаты, клуб остаётся одним из самых узнаваемых и поддерживаемых в Германии.