Aunque construido en una escala sin pretensiones, Hermitage en el condado de Accomack tiene la calidad arquitectónica característica de las residencias más grandes de la costa este. Con sus frontones de ladrillo decorados con chevrones, ventanas abuhardilladas, fachada simétrica y proporciones agradables, la casa es un excelente ejemplo de la arquitectura temprana de la nobleza de Virginia, que exhibe tanto pintoresquismo como formalidad. También es una de las casas de su tipo mejor conservadas de la zona, conservando una chimenea de salón ricamente decorada y una escalera georgiana con pasamanos moldurado y balaustres torneados. El Hermitage fue construido en dos etapas entre 1769 y 1787 por Emmanuel Bayly, miembro de una prominente familia de la Costa Este. Bayly llevó a cabo una operación agrícola notablemente exitosa aquí, cultivando maíz, avena, lino, ganado, ovejas y cerdos. La casa conserva su entorno rural.