La storia di questo edificio inizia nel XVIII secolo quando venne scelto questo luogo per costruire il municipio della città. Successivamente venne modificato sulla base del progetto di Pierre L'Enfant per adattarlo alla sua nuova funzione, quella di sede del primo Congresso degli Stati Uniti (1789). Qui, il 30 aprile del 1789, George Washington giurò come primo presidente. La statua in bronzo posta in cima alla scalinata d'ingresso ricorda questo evento.
Nel 1790, quando la capitale venne spostata a Filadelfia, la costruzione tornò alla sua funzione iniziale di municipio fino al 1812, anno in cui venne demolito.
L'edificio attuale, costruito tra il 1834 ed il 1842 in stile greco revival, venne utilizzato come Customs House fino al 1862. Attualmente ospita una mostra permanente sulla Costituzione degli Stati Uniti.