Historia Heart of Midlothian FC jest nierozerwalnie związana z rozwojem futbolu w Edynburgu. Założenie klubu tradycyjnie datuje się na 1874 rok, kiedy członkowie Heart of Mid-Lothian Quadrille Assembly przyjęli zasady Football Association. Dokładna data powstania nie została zapisana, ale 1874 rok jest uznawany za oficjalny początek działalności Hearts. Klub szybko ugruntował swoją pozycję w stolicy i w 1890 roku znalazł się w gronie założycieli Scottish Football League. Jego tradycyjne barwy to bordowy i biały, choć w historii zespołu szczególnie mocno zakorzenił się bordowy kolor, od którego pochodzi określenie The Maroons. Kibice są natomiast powszechnie nazywani Jambos.
Pierwsze mistrzostwo Szkocji Hearts zdobyli w sezonie 1894/95, a dwa lata później powtórzyli ten sukces. Na kolejny tytuł klub musiał czekać ponad sześć dekad. Następne mistrzostwa przypadły na sezony 1957/58 i 1959/60, dzięki czemu Hearts mają w dorobku cztery mistrzostwa Szkocji. Szczególnie imponujący był pierwszy z powojennych triumfów. W sezonie 1957/58 zespół stracił zaledwie 29 bramek w 34 meczach ligowych.
Ważną część historii klubu stanowi Puchar Szkocji. Hearts po raz pierwszy zdobyli to trofeum w sezonie 1890/91, a później triumfowali również w latach 1895/96, 1900/01, 1905/06, 1955/56, 1997/98, 2005/06 i 2011/12. Szczególne znaczenie miał finał z 1998 roku. Drużyna prowadzona przez Jima Jefferiesa pokonała Rangers 2:1 na Celtic Park, kończąc 42-letnie oczekiwanie na Puchar Szkocji. Czternaście lat później Hearts odniosło kolejne wyjątkowe zwycięstwo, pokonując miejskiego rywala Hibernian aż 5:1 w finale rozegranym w 2012 roku na Hampden Park.
Lata 50. przyniosły jeden z najlepszych zespołów w dziejach Hearts. Alfie Conn, Dave Mackay, John Cumming i Gordon Marshall należeli do drużyny, która zdobyła dwa mistrzostwa, trzy Puchary Ligi oraz Puchar Szkocji w 1956 roku. W tym okresie klub po raz pierwszy wystąpił również w europejskich pucharach. We wrześniu 1958 roku Ian Crawford zdobył pierwszą bramkę Hearts w europejskich rozgrywkach, trafiając przeciwko Standardowi Liège w Pucharze Europy.
Najbardziej udaną kampanią europejską Hearts pozostaje udział w Pucharze UEFA 1988/89. Zespół z Edynburga dotarł wówczas do ćwierćfinału, wygrywając pięć z ośmiu spotkań. W tej fazie rywalem był Bayern Monachium. Hearts wygrało pierwszy mecz 1:0 na Tynecastle po golu Iaina Fergusona, ale w rewanżu Bayern zwyciężył 2:0 i awansował dalej. W kolejnych dekadach Hearts występowało również w Pucharze UEFA, Lidze Europy i Lidze Konferencji, regularnie reprezentując Szkocję na arenie międzynarodowej.
Jednym z najbardziej charakterystycznych elementów historii klubu jest jego związek z kibicami i stadionem. Tynecastle Park jest domem Hearts od końca XIX wieku i należy do najbardziej rozpoznawalnych obiektów piłkarskich Edynburga. Stadion był świadkiem najważniejszych momentów w historii zespołu — od pierwszych spotkań pucharowych po europejskie wieczory i derby stolicy. Rywalizacja z Hibernian należy natomiast do najstarszych lokalnych derbów szkockiego futbolu, a oba kluby mierzą się ze sobą od XIX wieku.
W historii Hearts ważne miejsce zajmują również postacie, których wpływ wykraczał poza pojedyncze mecze. Tom Purdie, jeden z członków założycieli i pierwszy kapitan klubu, odegrał istotną rolę w jego początkowym rozwoju, a później uczestniczył w zdobyciu dwóch pierwszych mistrzostw Szkocji. W czasach współczesnych z triumfem w Pucharze Szkocji w 1998 roku szczególnie kojarzony jest Jim Jefferies, natomiast drużyna prowadzona przez Paulo Sergio zapisała się w historii zwycięstwem 5:1 nad Hibernianem w finale z 2012 roku.
Cztery mistrzostwa Szkocji, osiem Pucharów Szkocji i cztery Puchary Ligi sprawiają, że Heart of Midlothian FC należy do najbardziej utytułowanych klubów szkockich spoza tradycyjnej dwójki z Glasgow. Wieloletnia obecność na Tynecastle, bordowe barwy, silna kultura kibicowska oraz rywalizacja z Hibernianem stworzyły tożsamość mocno zakorzenioną w Edynburgu i historii szkockiego futbolu.