La storia di Harlem inizia nel 1658, quando gli olandesi fondarono Nieuw Harleem in onore della cittadina Harleem.
Durante i primi duecento anni la zona fu costituita essenzialmene da fattorie. Verso la metà del 1800, a causa della loro progressiva improduttività, Harlem iniziò una graduale trasformazione in quartiere residenziale. I primi ad arrivare furono gli Irlandesi, quindi gli Inglesi, i Tedeschi, gli Olandesi e gli Ebrei. Verso il 1880, grazie anche al nuovo collegamento ferroviario con il sud dell'isola, Harlem ebbe un forte sviluppo e per circa trent'anni fu uno dei sobborghi più eleganti della città.
Tra il 1910 ed il 1920 il mercato immobiliare subì una notevole recessione. Per superare la crisi, i proprietari degli immobili attuarono una cinica speculazione affittando piccolissimi appartamenti a famigli numerose. Questo richiamò moltissima gente, costituita quasi esclusivamente da neri provenienti dal sud, alla ricerca di una vita migliore. Tra il 1915 ed il 1930 la popolazione della zona quadruplicò.
Questa grande comunità nera costituì anche un forte richiamo per artisti ed intelletuali neri. Durante gli anni compresi tra il 1920 e il 1936, Harlem fu il centro di una notevole produzione di musica jazz. Locali mitici, come il Cotton Club o l'Apollo, furono il palcoscenico per artisti ed orchestre famose come Louis Armstrong, Chick Webb, Fletcher Henderson, Don Redman, Duke Ellington, Lucky Millinder e il luogo dove debuttarono artisti del calibro di Ella Fitzgerald.
La grave crisi economica della fine degli anni '20 fece precipitare Harlem in una situazione drammatica, con metà della popolazione disoccupata. Per circa sessant'anni il quartiere ha subito questa tendenza negativa dovendo affrontare problemi di difficile soluzione come il razzismo ed il progressivo deterioramento delle infrastrutture.
Dal 1980 è iniziato un programma di ristrutturazione che ha invertito questa tendenza trasformandola anche in zona turistica, con musei, ristoranti e locali notturni.