El patriota revolucionario Carter Henry Harrison fue el propietario original de Clifton. Como miembro del Comité de Seguridad de Cumberland, Harrison escribió las instrucciones para una declaración de independencia de "cualquier lealtad a su majestad británica", presentada a la Convención de Virginia de mayo de 1776. La convención fue uno de los primeros de estos organismos en declarar abiertamente la independencia de Estados Unidos. Clifton originalmente fue incluido en una concesión legada a Thomas Randolph en 1723 por su abuelo Robert ("King") Carter. La mansión del condado de Cumberland, que data de mediados de la década1700XX, es un excelente ejemplo de la formalidad arquitectónica que se podía lograr en la arquitectura georgiana utilizando la construcción de madera. Con frecuencia se prefería la madera a la mampostería, ya que las casas de madera tendían a ser menos húmedas. La casa conserva sus primeros paneles de moldura y un buen conjunto de habitaciones con paneles. Las habitaciones de Clifton tienen repisas de estilo neogriego posteriores copiadas de la obra de Asher Benjamin, Practical House Carpenter (1830).