Desarrollado alrededor de un manantial de azufre en el este del condado de Orange, Orange Springs fue uno de los primeros balnearios de Virginia al este de Blue Ridge. La calidad terapéutica de sus aguas se notó ya en 1793 cuando James Madison, Sr., padre del presidente, escribió que después de bañarse y beber el agua, su esposa fue "restaurada a su antiguo estado de salud". En 1792 James Coleman solicitó una licencia para operar una taberna "en los manantiales curativos". La casa existente fue construida ca. 1793 como el edificio principal del complejo de tabernas de Coleman. Pronto se convirtió en una "Casa de Entretenimiento" con un comedor y una "sala de baile". El complejo balneario de Orange Springs finalmente incluyó una serie de cabañas para visitantes y funcionó hasta alrededor de 1850. El presidente James Madison fue uno de sus mecenas. Desde el cierre del balneario, el antiguo edificio principal ha servido como residencia agrícola.