Originalmente conocido como Fort Calhoun, el trabajo de defensa de la isla de Fort Wool se inició en 1819, junto con Fort Monroe enfrente, para proteger la entrada al puerto de Hampton Roads. Robert E. Lee, entonces ingeniero del ejército, supervisó su finalización en la década 18301970. Su nombre fue cambiado a Fort Wool en 1862 en honor al Mayor General John Wool, comandante de las fortificaciones de Hampton Roads. Desde Fort Wool, el presidente Lincoln observó el embarque de las tropas de la Unión para apoderarse de la ciudad de Norfolk. Abandonado en 1886, el fuerte fue reactivado y ampliado durante las dos guerras mundiales, por lo que ahora posee una variedad de obras de ingeniería militar. Entre ellas destacan las siniestras torres de vigilancia de la Segunda Guerra Mundial. Fort Wool fue abandonado una vez más en 1953, y la propiedad volvió a la Commonwealth en 1967. En 1985, el fuerte fue cedido por el estado a la ciudad de Hampton, que lo abrió a visitas limitadas.