1. FC Köln powstał 13 lutego 1948 roku w wyniku fuzji dwóch kolońskich klubów – Kölner Ballspiel-Club 01 oraz SpVgg Sülz 07 – ustalonej w gospodzie w dzielnicy Sülz. Pierwszym prezesem został Franz Kremer, który od początku stawiał sobie za cel zbudowanie zespołu zdolnego rywalizować w skali całego kraju. Barwy klubu – czerwień i biel – zaczerpnięto z flagi Kolonii.
Jeszcze przed powstaniem Bundesligi FC Köln sięgnął po mistrzostwo Niemiec Zachodnich w 1962 roku, w składzie z Hansem Schäferem, mistrzem świata z 1954 roku, związanym z klubem przez całą karierę. Rok później Köln znalazł się wśród klubów-założycieli nowej, ogólnokrajowej Bundesligi i już w jej pierwszym sezonie, 1963/64, pod wodzą trenera Georga Knöpflego zdobył tytuł mistrzowski – trzeci w historii klubu.
W kolejnym sezonie Köln dotarł do ćwierćfinału Pucharu Europy, gdzie o awansie w dwumeczu z Liverpoolem, zremisowanym po dwóch spotkaniach, zadecydował rzut monetą – pierwsza moneta utknęła pionowo w błocie, więc losowanie trzeba było powtórzyć. Szczęście ostatecznie uśmiechnęło się do angielskiej drużyny.
W latach 70. twarzą zespołu stał się pomocnik Wolfgang Overath, wieloletni kapitan, a później prezes klubu. W 1976 roku do Kolonii powrócił trener Hennes Weisweiler, wcześniej wielokrotny mistrz Niemiec z Borussią Mönchengladbach – ten sam Weisweiler, którego imieniem nazwano już w 1950 roku klubową maskotkę, kozła Hennesa. Pod jego wodzą FC Köln zdobył Puchar Niemiec w 1977 roku, a rok później, w 1978, dokonał dubletu, triumfując jednocześnie w Bundeslidze i krajowym pucharze. Łącznie klub sięgał po Puchar Niemiec czterokrotnie – w latach 1968, 1977, 1978 i 1983.
Największym europejskim osiągnięciem klubu pozostaje dotarcie do finału Pucharu UEFA w 1986 roku. Po porażce 1:5 w Madrycie, w rewanżu FC Köln wygrał 2:0, co nie wystarczyło jednak do odwrócenia losów dwumeczu, przegranego 3:5 z Realem Madryt. Najlepszym strzelcem tamtej edycji rozgrywek został napastnik Kolonii Klaus Allofs, autor dziewięciu goli.
Do dziś jednym z najbardziej rozpoznawalnych symboli klubu pozostaje żywy kozioł Hennes, obecny na meczach od 1950 roku i nierozerwalnie związany z kolońskim karnawałem oraz lokalną tożsamością kibiców. Die Geißböcke rozgrywają mecze domowe na stadionie znanym przez dekady jako Müngersdorfer Stadion, obecnie funkcjonującym pod komercyjną nazwą RheinEnergieStadion. Mimo zmiennych wyników sportowych klub pozostaje jednym z najbardziej rozpoznawalnych i najliczniej wspieranych zespołów w Niemczech.