Una vez que formó parte de una exitosa granja lechera que servía a Fredericksburg y sus alrededores, Elmhurst fue construida en 1871, con adiciones en 1900 y la 1910s. Aunque ninguno de los otros edificios lácteos sobrevive, la casa todavía representa el período de transición en el condado de Spotsylvania después de la Guerra Civil, cuando la economía agrícola se diversificó a raíz de la pérdida de mano de obra. Elmhurst era el hogar de Washington Elms y su familia, granjeros que llegaron a Virginia desde Nueva York. La familia Elms continuó la operación lechera después de su muerte en 1895 hasta 1907, cuando vendieron la propiedad a C.W. Jones, un popular hombre de negocios de Fredericksburg. Jones hizo algunas modificaciones a la casa de estilo italiano, incluido su impresionante porche delantero, pero continuó la operación lechera hasta 1933. En ese momento, la propiedad se subdividió en lotes residenciales, lo que refleja el rápido crecimiento de la ciudad de Fredericksburg. Elmhurst fue objeto de importantes alteraciones en los años 1980, pero en el momento de su inclusión en los registros había sido rehabilitado con sensibilidad y una vez más se erigió como un ejemplo de este estilo arquitectónico relativamente poco común en Fredericksburg.