La casa 1868-70 en Upper Shirley era una residencia secundaria en la plantación Shirley , sede de la familia Carter. Construido por Hill Carter para su hijo William Fitzhugh Carter en un momento en que se construyeron pocas casas en Virginia debido a las privaciones de la Guerra Civil, la parte original fue construida por A. H. Marks and Brothers de Petersburg. Los muros fueron colocados con ladrillos tomados de una gran dependencia del siglo 18que formaba parte del complejo arquitectónico original de Shirley. Bajo la propiedad de la familia Edmund Saunders, la casa se amplió en 1890-91 a casi el doble de su tamaño original y se convirtió en una de las primeras casas en el condado rural de Charles City en incorporar las comodidades modernas de principios de siglo. Upper Shirley goza de un entorno romántico en un recodo del río James.