La mansión de Fort Chiswell fue construida para dos hermanos, Stephen McGavock y Joseph Cloyd McGavock, con vistas a la granja original de los McGavock en el condado de Wythe, ya destruida. Los McGavocks fueron los primeros colonos de la zona y adquirieron grandes extensiones de tierra. Su primer hogar fue en Fort Chiswell, un puesto de defensa en Great Wilderness Road. Aquí mantenían un establecimiento comercial que servía a los muchos pioneros que se trasladaban al oeste. En 1839 los dos hermanos McGavock contrataron a Lorain Thorn y James Johnson para construir esta casa de ladrillo en un acantilado sobre el asentamiento de Fort Chiswell. La estructura del Renacimiento Clásico interpretada provincialmente tiene un pórtico de dos columnas y chimeneas exteriores pareadas, entre las cuales en cada extremo hay una gran ventana palladiana en el ático. Queda una serie de edificios de servicio de ladrillo; el cementerio de la familia McGavock se encuentra en la cima de una colina cercana. La imponente vivienda sirvió durante mucho tiempo para señalar la importancia de los McGavocks para los recién llegados a la zona, y este hito destacado hoy en día tiene vistas a la Interestatal 81.