Scottsville comenzó en 1732 cuando Edward Scott, un burgués del condado de Goochland, patentó 550 acres justo al oeste de la futura ciudad. La comunidad del sur del condado de Albemarle prosperó, alcanzando su apogeo a principios del siglo 19con la apertura del río James y el canal Kanawha. Scottsville pronto se convirtió en un importante mercado de harina. Su declive comenzó en 1865 cuando las tropas del general de la Unión Philip Sheridan saquearon el lugar, destrozando el canal y destruyendo edificios comerciales. Scottsville nunca se recuperó realmente, y su crecimiento obstaculizado conservó su carácter histórico. Algunos 100 edificios más antiguos permanecen en el Distrito Histórico de Scottsville, casi la mitad de los cuales datan de antes de la Guerra Civil, incluidas las iglesias del Renacimiento Clásico y una amplia gama de casas vernáculas. Se incluye la ca 1820 el Monte Walla, que se enumera individualmente en los registros.

En 2004, el Distrito Histórico de Scottsville se amplió para incluir gran parte de la ciudad de Scottsville desde el río James hacia el norte y el oeste sobre las colinas y acantilados de la ciudad, y la nominación actualizada incluye un inventario completo de los edificios dentro del distrito en los condados de Albemarle y Fluvanna.
[VLR listado: 12/3/2003; NRHP Listado: 2/11/2004]