La sede del condado de Grayson se estableció en este lugar en Old Town, cerca de la ciudad de Galax, en 1799. El segundo palacio de justicia, una estructura de troncos, se construyó poco después. En 1810se erigió una diminuta oficina de secretario. En 1833 el condado encargó a James Toncray la construcción de un juzgado de ladrillo. Toncray, uno de los principales constructores de palacios de justicia en el suroeste de Virginia, construyó el juzgado del condado de Wythe en 1818 (demolido) y el juzgado del condado de Scott en 1829. Construyó juzgados para los condados de Montgomery y Floyd (ambos demolidos) al mismo tiempo que trabajaba en la estructura del condado de Grayson. Toncray empleó una composición tripartita, con alas de dos plantas, para cada uno de sus juzgados. El antiguo palacio de justicia del condado de Grayson se convirtió en residencia privada tras trasladar la sede del condado a la ciudad de Independence, y construir un nuevo palacio de justicia del condado de Grayson en 1908. Más tarde se empleó como hotel y finalmente como granero. El antiguo juzgado del condado de Grayson y la oficina del secretario fueron restaurados de forma privada en 1988.