Ubicado a lo largo del lado norte de Georgetown Pike en el condado de Fairfax, Drover's Rest es una vivienda de estilo vernáculo de un piso y medio construida en ca. 1757 a 1785 por el prominente terrateniente Bryan Fairfax, en apoyo de un complejo de molinos del siglo 18en Difficult Run conocido como Towlston Mill. Situada al suroeste del río Potomac, la propiedad actual en la que se encuentra la vivienda una vez formó una parte de la propiedad más grande de Fairfax, Towlston Manor. El entorno de Drover's Rest conserva su carácter rural y boscoso, con un fuerte crecimiento de árboles que protege la casa de la histórica Escuela de Madeira en el este. La casa continuó asociada con Towlston Mill en la década 1840, pero después de 1866 fue documentada por William S. Oliver, uno de sus propietarios anteriores, como un lugar común para los viajeros a lo largo del Georgetown Pike hasta principios del siglo 20. Drover's Rest también sirvió como la oficina de correos local para la comunidad de Prospect Hill, posiblemente a partir de 1802de 2015, y el garaje rehabilitado en la propiedad funcionó como una tienda general durante los últimos 1800y principios de 1900. El célebre escritor de arquitectura Charles Harris Whitaker restauró Drover's Rest entre alrededor de 1934 y 1938, aunque la mayoría de los relatos informan que su trabajo en la casa fue limitado en alcance y se centró principalmente en preservar las características originales del edificio. En 1975, el renombrado biólogo y conservacionista ambiental Dr. Thomas E. Lovejoy compró Drover's Rest, donde viviría, entretendría y completaría algunos de los trabajos más importantes de su distinguida carrera hasta su muerte en 2021.