Clifton fue el hogar de Thomas Mann Randolph (1768-1828), yerno de Thomas Jefferson, quien se desempeñó como gobernador de Virginia y en el Congreso de los Estados Unidos. La parte original de la estructura laberíntica y muy evolucionada en el sur del condado de Albemarle fue construida por Randolph en el primer cuarto del siglo 19para ser el centro del puerto de North Milton. Randolph y varios socios planearon la ciudad adyacente al Canal de Milton para apoyar el desarrollo agrícola y comercial que se producía en la zona y para competir con la entonces próspera pero ahora extinta comunidad de Milton al otro lado del Rivanna. Originalmente el almacén de Randolph, la casa se convirtió más tarde en su residencia. Su oficina es una dependencia existente. Clifton se amplió considerablemente por propietarios posteriores y ahora sirve como una posada rural. El pórtico actual sustituye a una galería de una sola planta del siglo 19.