Ingleside fue erigida en 1834 como la Academia de Washington, una de las numerosas escuelas preparatorias privadas establecidas en Virginia durante el período anterior a la guerra para educar a los hijos de la sociedad de plantación. La estructura porticada, con sus detalles sencillos, es un raro ejemplo de arquitectura institucional rural de la época. La tradición dice que los fundadores de la escuela del condado de Westmoreland modelaron el edificio siguiendo las líneas del Capitolio en forma de templo de Thomas Jefferson en Richmond. La academia funcionó durante una década antes de que la disminución de la matrícula la obligara a cerrar. Después de la venta de la propiedad en 1847, el edificio se convirtió en una residencia privada y recibió su nombre actual. Después de muchos cambios de propiedad, Ingleside fue comprada en 1890 por Carl Henry Flemer de Washington, D.C., y desde entonces se ha convertido en el núcleo de la conocida Ingleside Plantation, Inc., un vivero y bodega, operado por la familia Flemer.