Llamada así por el landgraviato alemán, Hesse fue la sede del condado de Mathews de los Armistead, una familia colonial cuyos miembros, en virtud del matrimonio, eran progenitores o parientes de casi todas las principales familias terratenientes de Virginia. La investigación arqueológica ha revelado los cimientos de la casa colonial original, que se quemó en 1798. Poco después fue sustituida por la actual estructura de ladrillo erigida a pocos metros de distancia. La situación de ambas casas probablemente fue elegida debido a la impresionante vista de la bahía de Godfrey en la desembocadura del río Piankatank. La casa actual, con sus fachadas formales de cinco crujías y paneles de madera, ilustra la persistencia de las formas georgianas tradicionales en los condados orientales de Virginia durante el período federal. Hesse fue meticulosamente restaurado a finales de la década 1970197, momento en el que se añadieron las alas con techo de gambrel.