Una fortificación que protege el puerto de Norfolk fue establecida por los ciudadanos locales en este sitio durante la Guerra de la Independencia. Reconociendo su ubicación estratégica, el gobierno federal compró el sitio de Fort Norfolk en 1795. En 1809 el gobierno erigió la característica más prominente de la fortaleza, las enormes murallas con su gran bastión redondeado. Dentro de estas murallas hay un complejo de estructuras militares que datan desde principios del siglo 19hasta el siglo 20, a todas ellas accedidas a través de una pintoresca puerta de entrada. En 1862 tanto el fuerte como la ciudad cayeron en manos de las fuerzas federales, pero el fuerte no vio ninguna acción significativa. Este importante ejemplo de arquitectura militar temprana es propiedad del Cuerpo de Ingenieros del Ejército de los Estados Unidos. La mayor parte de Fort Norfolk pasó a ser licenciada a la Sociedad Histórica de Norfolk, y gran parte del complejo se utilizó como espacio de exposiciones y oficinas.