Melrose fue construido por Charles Alexander Scott en 1813 cerca de su molino en el río James en el condado de Fluvanna. Scott era miembro de la prominente familia local que operaba Scott's Landing y fundó Scottsville. La casa de ladrillo de estilo federal, de dos pisos, en el vestíbulo central, tiene un vínculo flamenco por encima y un vínculo estadounidense por debajo de su nivel freático. Melrose está situada de forma muy dramática en la parte superior de una serie de terrazas de tierra que se elevan sobre la sección de las Siete Islas del río, que se puede escuchar pero no se ve desde la casa. Un incendio en 1836 destruyó gran parte del interior, pero Melrose fue restaurado rápidamente dentro de las paredes originales y la mayoría de las molduras interiores de este período sobreviven. Es probable que el tejado de pizarra se instalara al mismo tiempo.