El nombre del Rapid de Bucarest no proviene del fútbol, sino del ferrocarril: lo eligieron los fundadores del club en honor a las veloces locomotoras de pasajeros operadas por su empleador, los Ferrocarriles Estatales rumanos. El club se fundó el 25 de junio de 1923 por un grupo de trabajadores de los talleres ferroviarios de Grivița, en Bucarest, quienes lo registraron formalmente como "Asociación Cultural y Deportiva CFR", con Teofil Copaci como primer presidente. Sus primeros años fueron precarios: en 1925 el joven club llegó a ser suspendido del campeonato de Bucarest por no poder alinear un equipo completo en repetidas ocasiones, a menudo por falta de equipamiento adecuado.
La primera época dorada del Rapid comenzó en la década de 1930, cuando, pese a no ganar nunca el título de liga antes de la guerra, el club dominó la Copa de Rumanía, conquistando su edición inaugural en 1933-34 y encadenando después seis triunfos consecutivos entre 1936-37 y 1941-42. El delantero estrella Giussy Barátky, apodado "la Maravilla Rubia", que llegó a representar tanto a Hungría como a Rumanía a nivel internacional, lideró el ataque en junio de 1940, cuando el Rapid venció al Hungária MTK en Budapest, convirtiéndose en el primer club rumano en ganar allí, en el marco de su camino hacia la final de la Copa Mitropa de 1940, que nunca llegó a disputarse por el estallido de la guerra.
Bajo el comunismo, con los recursos del Estado canalizados hacia los recién creados clubes del ejército y la policía secreta, la Steaua y el Dinamo, las raíces obreras y ferroviarias del Rapid lo relegaron al papel de "tercer club" de Bucarest, aunque sus gradas se ganaron fama de rebeldes, llegando en ocasiones a manifestar abiertamente su rechazo al régimen. El éxito deportivo llegó finalmente con el primer campeonato nacional del club en 1966-67, al que siguieron nuevos títulos en 1998-99 y 2002-03. En competición europea, sus mejores actuaciones llegaron en la Recopa de 1973 y en la Copa de la UEFA 2005-06, ambas concluidas en cuartos de final. En total, el Rapid ha ganado tres campeonatos rumanos, un récord de 13 Copas de Rumanía y cuatro Supercopas del país.
El colapso financiero llevó a la quiebra del club en 2016, aunque el Rapid fue refundado y regresó a la Liga I en 2021. Apodado Feroviarii ("Los Ferroviarios") y vestido de blanco y granate, el Rapid sigue representando al distrito de Giulești en el Superbet Arena – Giulești, un estadio moderno construido sobre el emplazamiento del histórico recinto del club, aún conocido popularmente y de forma simple como Giulești.