Esta casa compacta de plantación fue construida ca. 1793 para William Madison, miembro de la Cámara de Delegados de Virginia durante siete mandatos consecutivos y hermano del presidente James Madison. En 1793 James Madison le pidió a Thomas Jefferson que proporcionara los planos de una casa para su hermano. James Madison escribió más tarde a Jefferson diciendo que William había adoptado los planes. Ningún dibujo de Jefferson ha sido identificado positivamente como el diseño de Madison, pero la correspondencia autentifica la conexión con Jefferson. El pórtico original de dos columnas, poco académico, sugiere, sin embargo, que Jefferson no estuvo involucrado en la ejecución. En 1870 la propiedad fue comprada por Robert Walker, quien remodeló la casa en 1884. Fue aquí donde Walker fundó la Woodberry Forest School, nombrándola en honor a la plantación de Madison. La casa fue rebautizada como La Residencia y ha servido como la casa del director.