Questo forte, il cui nome originale era West Battery, fu costruito tra il 1807 e il 1811 per difendere il porto della città da eventuali attacchi degli Inglesi. Nel 1817 venne rinominato Castle Clinton, in onore del sindaco di New York DeWitt Clinton. Dopo l'iniziale uso militare fu utilizzato nel corso degli anni per gli usi più svariati.
Nel 1823 lo stato federale lo cedette alla città di New York. Tra il 1824 ed i primi anni del 1854, sotto il nome di Castle Garden, fu utilizzato come teatro. Quindi, non avendo avuto un grosso successo commerciale, fu trasformato in ufficio immigrazione, era il 3 agosto 1855. Questa stazione rimase attiva per circa 35 anni durante i quali più di otto milioni di immigrati passarono attraverso le sue porte prima d'essere ammessi nel paese. Il 18 aprile 1890 la stazione venne chiusa e quindi spostata su Ellis Island.
Il 10 dicenbre 1896 vi fu aperta la sede dell'acquario di New York che vi rimase fino al 1941, quando fu spostato nella sede di Coney Island.
Nel 1946 venne dichiarato monumento nazionale ed attualmente ospita un piccolo museo e la biglietteria dei traghetti per Staten Island, Liberty Island ed Ellis Island.