Al igual que muchas casas en Virginia, Forest Hill comenzó su existencia como una pequeña casa vernácula, pero se amplió a su tamaño actual y se le dieron características de estilo federal, como el veteado en la carpintería interior y el tragaluz sobre la puerta principal. La sección original de 1803 fue ampliada en 1816 por el entonces propietario William Macon Waller, un prominente residente del condado, que ocupó los cargos de juez de paz, comisionado escolar, sheriff y delegado a la legislatura de Virginia. Waller, quien le dio nombre a la propiedad, acumuló aproximadamente 1,200 acres durante su vida. Era trabajada por aproximadamente 45 esclavos. Waller tuvo 12 hijos con dos esposas; la primera esposa, Elizabeth Mutter, murió poco después de que se mudaran a Forest Hill, pero su segunda esposa, Sarah Armistead Garland, vivió en la propiedad después de la muerte de Waller en 1849. Después de su muerte, la familia Waller conservó la propiedad hasta 1921. Los acres actuales de 200 contienen numerosas dependencias, incluidos edificios agrícolas del siglo 19, edificios de almacenamiento de principios del siglo 20y posiblemente restos arqueológicos de un cementerio familiar y cuartos de esclavos. Junto con la casa, transmiten efectivamente su asociación con un prominente terrateniente y ciudadano del condado de Amherst del siglo 19.