El empresario y filántropo de Richmond, el Sr. James H. Dooley construyó la villa palaciega de Swannanoa en la cima de la montaña como casa de verano para él y su esposa, Sallie May. Inspirada en la Villa Medici de Roma, la mansión del condado de Nelson, terminada en 1913, fue diseñada por Noland y Baskervill de Richmond. El exterior está revestido de mármol de Georgia, mientras que el interior está ricamente decorado con los mejores materiales y decoraciones. Una característica interior sobresaliente es una enorme vidriera de Tiffany Studio en el rellano de la escalera que se dice que representa a la Sra. Dooley en los jardines. Cada una de las salas principales tiene un carácter arquitectónico distinto, desde la sala de música Luis XVI hasta la oficina turca. Completando la imagen de una finca de la Edad Dorada se encuentra un jardín en terrazas de estilo italiano. De 1949 a 1998 Swannanoa albergó la Universidad de Ciencia y Filosofía, una institución cultural y religiosa fundada por el escultor estadounidense Walter Russell y su esposa Lao. La excepcional propiedad de Swannanoa ancla el extremo occidental del Distrito Histórico Rural de Greenwood-Afton.