James Monroe, senador de los Estados Unidos; gobernador de Virginia; ministro en Francia, Inglaterra y España, y quinto presidente de los Estados Unidos, compró esta granja, originalmente llamada Highland, en 1793. Terminó la casa en 1799. El amigo y mentor de Monroe, Thomas Jefferson, seleccionó el sitio de la casa, a la vista del Monticello de Jefferson. Monroe llamó a la casa su "cabaña del castillo". La familia Monroe abandonó Highland en 1823; Se vendió en 1826. Inaugurado como museo por el filántropo Jay Winston Johns, la propiedad del sur del condado de Albemarle es ahora propiedad del College of William and Mary y conmemora la residencia de Monroe en esta área.

El trabajo arqueológico en lo que ahora se conoce como James Monroe's Highland reveló en 2016 que la residencia de los Monroe no era el ala trasera de la vivienda principal que actualmente se encuentra en la propiedad. El ala trasera era, en cambio, una casa de huéspedes de principios del siglo19, utilizada por los visitantes durante el mandato de Monroe como presidenta, y más tarde ampliada.  La residencia principal más grande en Ash Lawn-Highland del período Monroe probablemente fue destruida por un incendio entre mediados de la década1830y principios de la década 1850.