Questa chiesa fu costruita nel 1799 in stile georgiano, sul terreno della fattoria del governatore Peter Stuyvesant. Egli è sepolto in una cripta che si trova adiacente alla parete est della chiesa. La chiesa sorge dove Peter Stuyvesant costruì una cappella nel 1660.
Il campanile in stile greco revival fu aggiunto nel 1828, mentre il portico in ghisa risale al 1854. Nel luglio 1978, un incendio danneggiò gravemente l'interno della chiesa e provocò il crollo del tetto. Successivamente, grazie ad una forte campagna promozionale, si riuscì a trovare i fondi per effettuare il restauro della chiesa.