La parte más antigua de la casa de Castle Hill en dos partes es una vivienda colonial tradicional de Virginia, construida en 1764 por el Dr. Thomas Walker, un líder colonial y explorador del oeste. Aquí, en 1781 la esposa de Walker retrasó al coronel británico Banastre Tarleton para que le diera tiempo al patriota Jack Jouett para advertir a Thomas Jefferson y a los legisladores de Virginia del plan de Tarleton para capturarlos. La majestuosa parte de ladrillo, un ejemplo del clasicismo jeffersoniano del maestro constructor John M. Perry, fue erigida en 182324 para William Cabell Rives, ministro en Francia, senador de los Estados Unidos y congresista confederado. Los invernaderos con columnas fueron añadidos en 1844 por William B. Phillips. La nieta de Rives, Amélie, esposa del pintor ruso príncipe Pierre Troubetzkoy, fue novelista y dramaturga. Ella y su esposo hicieron de Castle Hill su hogar en las primeras décadas del siglo 20. Castle Hill, ubicado en el Distrito Histórico Rural de las Montañas del Suroeste del Condado de Albemarle, también se destaca por sus extensos jardines y jardines.