Il palazzo in stile rinascimentale italiano, che oggi ospita il Public Theater, era una volta la sede della Astor Library. La costruzione di questa biblioteca iniziò nel 1849 e fu completata in tre fasi successive (1853 ala sud; 1859 ala centrale; 1881 ala nord). Fu la prima biblioteca pubblica della città e nel 1895 venne fusa con la Tilden Foundation e la Lenox Library per costituire la New York Public Library.
Tra il 1921 ed il 1965 ospitò la sede della Hebrew Immigrant Aid & Sheltering Society (HIAS), una grande società che si occupava dell'immigrazione nella "terra della libertà" di moltissimi profughi.
Quando la HIAS fu trasferita, l'edificio fu salvato dalla demolizione grazie all'impegno dell'impresario Joseph Papp, che lo propose come sede permanente del New York Shakespeare Festival.
I restauri iniziarono nel 1967, sotto la supervisione dell'architetto G. Cavaglieri (lo stesso del Jefferson Market Courthouse) e furono completati alcuni anni più tardi, mantenendo il disegno originale di gran parte dell'interno.