Elijah Fletcher, editor del Lynchburg Virginian y alcalde de esa ciudad, compró esta granja de principios del siglo19en 1825 para un retiro de fin de semana en el cercano condado de Amherst. Su esposa, Maria Crawford Fletcher, lo rebautizó como Sweet Briar por las rosas silvestres de la zona. En 1851 los Fletcher transformaron la sencilla casa de estilo federal en una importante expresión del estilo de la villa italiana, añadiendo torres cuadradas, terraza y pórtico porticado. El diseño, basado en un dibujo de Richard Upjohn publicado en Architecture of Country Houses (1850de Andrew Jackson Downing), pudo haber sido la elección de la hija de Fletcher, Indiana, a quien Fletcher atribuyó el proyecto. Indiana Fletcher Williams heredó Sweet Briar House y ordenó en su testamento que la propiedad se convirtiera en una escuela para mujeres jóvenes. Sweet Briar College recibió así su carta en 1901. La Casa Sweet Briar ha servido como el hogar de los presidentes de la universidad desde entonces.