Originalmente patentada en 1638 a Elizabeth Grayne, y cultivada como una unidad separada durante casi tres siglos y medio, Hardens es una finca del río James que anteriormente sirvió como una granja subsidiaria, o cuarto, de la plantación Shirley . La propiedad del condado de Charles City se llamó Hardings, y también Hardings Landing. Un 1818 topográfico muestra una vivienda en la ubicación aproximada de la casa actual. Un ejemplo típico de la arquitectura vernácula rural de Virginia de mediados del siglo19, la parte principal de la casa de estructura existente fue erigida en 1846 por Hill Carter, de Shirley, para su hijo Lewis Warrington Carter, y puede incorporar secciones de una estructura anterior. Hardens fue adquirida por David Walker Haxall en 1852 para suministrar madera para las extensas operaciones de molienda de su familia en Richmond. Durante la Guerra Civil, el lugar sirvió como estación de comunicaciones de la Unión y campamento para el Mayor El general George B. McClellan en 1862.