John Wharton, un comerciante marítimo y nativo del condado de Accomack, mandó construir esta mansión federal poco después de comprar la propiedad en 1798. Wharton hizo de su nuevo hogar el cuartel general de sus diversos intereses comerciales y mantuvo un desembarcadero para sus barcos en Assawoman Creek, a la vista de la casa. Con sus elegantes proporciones exteriores, el lujoso uso de adornos de mármol y la rica yesería, Wharton Place es uno de los ejemplos más destacados del estilo federal de Virginia, que parece algo incómodamente urbano en su entorno rural aislado. De especial interés son sus repisas adornadas con ornamentos de composición de estilo clásico aplicados firmados por Robert Wellford de Filadelfia. Wellford suministró adornos para casas finas en toda la costa este. Sus diseños se basaron en ejemplos ingleses contemporáneos.