La sede del condado de Grayson se estableció en este sitio en Old Town, cerca de la ciudad de Galax, en 1799. El segundo palacio de justicia, una estructura de troncos, se construyó poco después. En 1810se erigió una diminuta oficina del secretario. En 1833 el condado encargó a James Toncray la construcción de un juzgado de ladrillo. Toncray, un importante constructor de juzgados en el suroeste de Virginia, construyó el palacio de justicia del condado de Wythe en 1818 (demolido) y el palacio de justicia del condado de Scott en 1829. Construyó juzgados para los condados de Montgomery y Floyd (ambos demolidos) al mismo tiempo que trabajaba en la estructura del condado de Grayson. Toncray empleó una composición tripartita, con alas de dos pisos, para cada uno de sus juzgados. El antiguo Palacio de Justicia del Condado de Grayson se convirtió en una residencia privada después de que la sede del condado se trasladara a la ciudad de Independence, y se construyera un nuevo Palacio de Justicia del Condado de Grayson en 1908. Más tarde fue utilizado como hotel y, finalmente, como granero. El antiguo Palacio de Justicia del Condado de Grayson y la Oficina del Secretario fueron restaurados de forma privada en 1988.