El AIK nació en 1891, no como club de fútbol, sino como una asociación general de atletismo, fundada el 15 de febrero en una dirección de la calle Biblioteksgatan, en el centro de Estocolmo, por hermanos de la familia Behrens; el nombre completo del club, Allmänna Idrottsklubben, se traduce simplemente como "el club general de deportes", reflejando su misión original de estar abierto a todos los deportes y no solo al fútbol. La sección de fútbol se creó en 1896, y ya a comienzos de siglo el AIK se había convertido en uno de los equipos dominantes de Suecia, ganando el campeonato nacional en 1900 y 1901.
El AIK se incorporó a la recién creada Allsvenskan en 1924 y ganó el título de liga en 1932 y 1937, este último coincidiendo con el traslado del club al recién construido Estadio Råsunda, su hogar durante los siguientes 75 años. Le siguió una larga sequía de títulos, rota solo en 1992, y de nuevo al año siguiente bajo un formato de liga reformado. El AIK también vivió una etapa moderna de relativo éxito, ganando nuevos títulos en 1998 y, más recientemente, en 2018, lo que eleva su cosecha total a doce campeonatos suecos, una cifra que sitúa al club en el tercer puesto histórico de la Allsvenskan, junto con el récord de más temporadas disputadas en la máxima categoría sueca.
En el plano europeo, la campaña de mayor repercusión del AIK llegó en la Champions League 1999-2000, cuando el club, dirigido por Stuart Baxter, alcanzó la fase de grupos y se enfrentó al Barcelona, la Fiorentina y el Arsenal, una experiencia que sigue siendo una de las incursiones europeas más comentadas del club, aunque los resultados sobre el terreno de juego resultaran difíciles.
Desde 2012, el AIK disputa sus partidos como local en el Strawberry Arena, en la vecina Solna, tras abandonar Råsunda después de que los socios votaran a favor de trasladarse al que era entonces el nuevo estadio nacional de Suecia. Apodado Gnaget y vestido de negro y amarillo, la identidad del AIK sigue siendo inseparable de su rivalidad con el otro club de Estocolmo, el Djurgården, fundado apenas tres semanas después que el AIK en 1891 y considerado el derbi más intenso del fútbol sueco, junto a una rivalidad local más amplia con el Hammarby, que junto a él define el fútbol de la capital sueca.