Originalmente conocida como Glengyle, Virginia Manor evolucionó de una simple estructura vernácula a una finca rural de alto estilo. Comenzó en 1800 como la casa de madera de dos pisos de John Fleming. En 1856 la casa de troncos se convirtió en el ala trasera de la casa de dos pisos y cinco bahías de Thomas Burks. En 1890 la propiedad fue vendida a Rockbridge Company, una empresa de desarrollo de tierras con la esperanza de capitalizar el desarrollo de la cercana ciudad de Glasgow. El presidente de la compañía, el general Fitzhugh Lee, sobrino de Robert E. Lee, estableció su residencia en Glengyle. El plan de desarrollo fracasó, y en 1897 la propiedad del condado de Rockbridge fue comprada por la Sra. George W. Stevens, cuyo esposo era presidente de la Compañía de Ferrocarriles de Chesapeake y Ohio. Los Stevens transformaron la propiedad en una residencia de verano, llamada Virginia Manor, remodelando y ampliando aún más la casa y agregando varias dependencias, incluida una estación de ferrocarril privada.