La parte más antigua de Chapel Hill es la sección central de piedra de dos pisos, de estilo federal, de la casa actual, que fue construida para el Dr. Charles Carter Byrd en 1824, un año después de que su madre le cediera el terreno de 168acres. Philip Burwell, hijo de Nathaniel Burwell de la cercana Carter Hall, compró la propiedad del condado de Clarke en 1826. Su propietario más distinguido 20siglo XII fue el mayor general William "Wild Bill" Donovan, quien la compró en 1938, luego contrató al arquitecto George L. Howe de Washington, D.C., para remodelar y ampliar la casa en el estilo del renacimiento colonial. Howe añadió las alas flanqueantes de piedra de un piso y medio. También se construyeron varias dependencias, como un granero bancario, un establo y la casa del novio. Durante la Segunda Guerra Mundial, Donovan fundó y dirigió la Oficina de Servicios Estratégicos, precursora de la Agencia Central de Inteligencia. Después de su muerte en 1959, la propiedad permaneció en manos de la familia Donovan hasta 1999.  Chapel Hill es una propiedad contribuyente dentro del Distrito Histórico Rural de Chapel.