Llamado así por el landgraviato alemán, Hesse fue la sede del condado de Mathews de los Armisteads, una familia colonial cuyos miembros, en virtud del matrimonio, eran progenitores o parientes de casi todas las principales familias terratenientes de Virginia. La investigación arqueológica reveló los cimientos de la casa colonial original, que se quemó en 1798. Fue reemplazado poco después por la actual estructura de ladrillo erigida a pocos metros de distancia. La situación de ambas casas probablemente fue elegida debido a la impresionante vista de la bahía de Godfrey en la desembocadura del río Piankatank. La casa actual, con sus fachadas formales de cinco bahías y carpintería con paneles, ilustra la persistencia de las formas georgianas tradicionales en los condados del este de Virginia durante el periodo federal. Hesse fue meticulosamente restaurado a finales de la década 1970, momento en el que se agregaron las alas con techo de gambrel.