La primera parte de la casa Brooks-Brown fue construida en la década de 1830y luego se amplió con varias adiciones. Su ocupante original fue Andrew Brooks, un granjero del condado de Franklin que sirvió en la Cámara de Delegados de Virginia de 1843 a 1863. La propiedad fue adquirida más tarde por el cuñado de Brooks, William A. Brown, uno de los principales agricultores y fabricantes de tabaco del condado. Brown estableció una fábrica de tabaco adyacente a la casa alrededor de 1870. Durante las dos últimas décadas del siglo 19, la casa también funcionó como una parada de diligencias conocida como Halfway House, un nombre asignado debido a la ubicación de la propiedad a medio camino entre Danville y Roanoke. Un edificio independiente en la propiedad de Brooks-Brown House sirvió como oficina y más tarde como centro de votación del condado; Las paredes de su cocina/comedor conservan grafitis raros 19del siglo XX.