AIK rozpoczął istnienie w 1891 roku nie jako klub piłkarski, lecz jako ogólne stowarzyszenie lekkoatletyczne, założone 15 lutego pod adresem przy Biblioteksgatan w centrum Sztokholmu przez braci z rodziny Behrens; pełna nazwa klubu, Allmänna Idrottsklubben, oznacza po prostu „ogólny klub sportowy”, co odzwierciedlało jego pierwotną misję otwartości na wszystkie dyscypliny sportu, a nie wyłącznie piłkę nożną. Sekcja piłkarska powstała w 1896 roku, a już na przełomie wieków AIK stał się jednym z dominujących zespołów Szwecji, zdobywając mistrzostwo kraju w 1900 i 1901 roku.
AIK dołączył do nowo utworzonej Allsvenskan w 1924 roku i zdobył mistrzostwo ligi w 1932 i 1937 roku, przy czym ten drugi tytuł zbiegł się z przeprowadzką klubu na nowo wybudowany Stadion Råsunda, który był jego domem przez kolejne 75 lat. Nastąpiła następnie długa susza w trofeach, przerwana dopiero w 1992 roku, a rok później ponownie, już w zreformowanym systemie ligowym. AIK przeżył też nowszy okres względnych sukcesów, zdobywając kolejne tytuły w 1998 roku i, ostatecznie, w 2018 roku, co dało klubowi łącznie dwanaście mistrzostw Szwecji - wynik plasujący go na trzecim miejscu w historii Allsvenskan, obok rekordu liczby sezonów rozegranych w najwyższej klasie szwedzkiej piłki.
Na arenie europejskiej najbardziej rozpoznawalną kampanią AIK pozostaje sezon Ligi Mistrzów 1999/2000, gdy klub, prowadzony przez Stuarta Baxtera, awansował do fazy grupowej i zmierzył się z Barceloną, Fiorentiną oraz Arsenalem - doświadczenie to wciąż jest jedną z najczęściej wspominanych europejskich przygód klubu, mimo że wyniki na boisku okazały się trudne.
Od 2012 roku AIK rozgrywa mecze domowe na Strawberry Arena w sąsiedniej gminie Solna, opuszczając Råsundę po tym, jak członkowie klubu zagłosowali za przeprowadzką do nowego wówczas narodowego stadionu Szwecji. Nazywany Gnaget i grający w barwach czarno-żółtych, AIK pozostaje nierozerwalnie związany z rywalizacją z innym sztokholmskim klubem, Djurgården, założonym zaledwie trzy tygodnie po AIK w 1891 roku i uznawanym za najzacieklejsze derby w szwedzkiej piłce, obok szerszej lokalnej rywalizacji z Hammarby, która wraz z nim definiuje futbol w szwedzkiej stolicy.