Esta imponente mansión de estilo federal en Red Hill Farm fue construida a partir de las ganancias acumuladas por Charles Ellis a través de varias empresas mercantiles. Ellis, cuya familia había sido propietaria de la propiedad desde los años 1750, formó una sociedad con el empresario de Richmond John Allan, padre adoptivo de Edgar Allan Poe. Terminado en 1825, Red Hill fue el hogar del hermano menor de Charles Ellis, Richard Shelton Ellis, quien administró las propiedades de la familia en Amherst. Los detalles adamescos y la formalidad del espacioso plan sugieren que los Ellis estaban familiarizados con las grandes casas de estilo federal que se estaban erigiendo en Richmond. La escalera de caracol se basa en un diseño de la obra de Owen Biddle Young Carpenter's Assistant, (1810), una obra vendida en Richmond. De 1869 a 1898 Red Hill fue propiedad del predicador y arquitecto presbiteriano Robert Lewis Dabney. El pórtico del siglo 20reemplazó a un porche anterior.