L'edificio fu progettato in stile rinascimentale germanico dall'architetto Henry Janeway Hardenbergh (tra l'altro autore del Plaza Hotel) e fu completato nel 1884. Quando fu costruito era considerato il complesso residenziale più lussuoso della città ed ancora oggi mantiene intatta un'immagine di esclusività.
Molti personaggi famosi lo hanno scelto come propia residenza. Leonard Bernstein, Rudolph Nureyev, Boris Karloff, John Lennon hanno vissuto qui e quest'ultimo è stato assassinato prorpio di fronte l'ingresso dell'edificio. Attualmente vivono qui la cantante Roberta Flack, Yoko Ono, moglie di John Lennon, Lauren Bacall, attrice e moglie di H. Bogart. Il complesso è stato usato come set per alcuni film, tra cui Rosemary's Baby (1968).