Erigido en el condado de Rockbridge, ca. 1815, Clifton fue originalmente el hogar del May. John Alexander, un veterano de la Guerra de 1812 que se desempeñó como fideicomisario del cercano Washington College (ahora Washington and Lee University en Lexington) de 1812 a 1853. La viuda de Alexander vendió Clifton al abogado de Louisville, Kentucky, William Preston Johnston, quien se desempeñó como ayudante de campo del presidente confederado Jefferson Davis durante la Guerra Civil. Invitado por Robert E. Lee a unirse a la facultad de Washington College, Johnston se desempeñó como profesor titular hasta 1872. Mientras residía en Clifton, Johnston escribió una biografía de su padre, el general confederado Albert Sidney Johnston. Más tarde, John Johnston fue el primer presidente de la Universidad de Tulane. En una colina que domina el río Maury, la imponente casa con su cornisa de ladrillo moldurado es un ejemplo característico de una granja de la alta burguesía de la región. El pórtico de dos niveles de Clifton, una adición de finales del siglo 20, fue diseñado por el arquitecto Thomas W. S. Craven.