Mount Walla tiene en su núcleo una pequeña pero finamente detallada casa de estilo federal con vistas a la ciudad de Scottsville en el sur del condado de Albemarle. La vivienda, de planta de salón, tiene diminutos pórticos de entrada clásicos tanto en el frente del río como en el de la tierra. En el interior hay marcos de puertas y ventanas con entablamentos, un medallón de yeso en el techo y una repisa federal de tres partes con rayos de sol y columnatas. Es probable que data de entre 1820 y 1840, pero puede incorporar telas anteriores. En 1821, la propiedad fue adquirida por el empresario de Scottsville Richard Moon, y en 1836 por Peter Field Jefferson, sobrino nieto del presidente Thomas Jefferson. Peter Field Jefferson hizo una fortuna especulando con el río James y el canal de Kanawha, y era propietario del transbordador de la ciudad y de una flota de barcos del canal, así como de almacenes y molinos de tabaco en el condado de Albemarle. Sus descendientes fueron propietarios del monte Walla hasta 1951.