Uno de los primeros y más distintivos de varios vecindarios situados en las varias colinas de Lynchburg, Federal Hill ha servido principalmente como una zona residencial favorecida por comerciantes y líderes cívicos. A lo largo de la docena de cuadras del Distrito Histórico de Federal Hill se encuentra un conjunto de viviendas independientes en estilos arquitectónicos populares desde principios 18001 hasta principios de 1900. Lo más significativo son las primeras casas federales del vecindario, que incluyen algunas de las viviendas más antiguas y mejores de la ciudad, entre ellas la ca. 1816 la casa Roane-Rodes en la calle Harrison, y la 1817 casa Norvell-Otey, construida en la calle Federal para el banquero William Norvell. Varias otras casas federales tempranas, incluyendo la Micajah Davis y la Casa Gordon, ambas construidas antes 1819, se encuentran dispersas a lo largo de la calle Jackson. El área del Distrito Histórico de Federal Hill fue incorporada a la ciudad a través de anexiones en 1814 y 1819.