El tratado de Ditchley fue patentado en 1651 por Richard Lee, progenitor de la familia Lee de Virginia. La mansión actual, iniciada ca. 1762 por Kendall Lee, bisnieto de Richard Lee, es una arquitectura clásica colonial georgiana. La casa tiene el hermoso ladrillo, el techo a cuatro aguas y las proporciones geométricas características de las mejores casas de plantación de Virginia. El interior conserva gran parte de la carpintería original, incluida una notable escalera georgiana. En 1792 la familia Lee vendió Ditchley a James Ball, pariente de Mary Ball Washington, madre de George Washington. La propiedad permaneció en manos de la familia Ball durante todo el siglo 19. En 1932 Ditchley fue comprado por el Sr. y la Sra. Alfred I. du Pont de Wilmington, Delaware. La Sra. du Pont, la antigua Jessie Dew Ball (1884-1970), estaba emparentada con las Bolas de Ditchley. Tras la muerte de su esposo, la Sra. du Pont se convirtió en una de las filántropas más generosas de Estados Unidos, otorgando personalmente subvenciones a varios cientos de instituciones.