Costruito tra il 1874 ed il 1877, sulla base del progetto degli architetti F. C. Withers e C. Vaux (quest'ultimo disegnò anche, insieme a F. L. Olmsted, la pianta di Central Park), l'edificio era uno dei migliori esempi di stile gotico vittoriano ed era considerato uno dei dieci edifici più belli degli Stati Uniti.
La sua funzione iniziale fu quella di ospitare il palazzo di Giustizia con adiacente una prigione, una stazione dei vigili del fuoco ed un mercato. La torre è stata utilizzata come punto di osservazione per avvistare gli incendi. Le torri erano molto diffuse fino a quando non furono introdotti gli allarmi antincendio elettrici.
Nel 1967, dopo aver rischiato la demolizione, l'edificio è stato ristrutturato sotto la supervisione dell'architetto Giorgio Cavaglieri ed ora ospita una parte della New York Public Library. L'orologio che si trova sulla torre è detto Old Jeff.