La ciudad de Madison ha servido como la sede del condado y el centro comercial del condado de Madison desde su formación a partir del condado de Culpeper en 1793. El asentamiento se estableció formalmente como una ciudad de correos en 1801, varios años después de la erección del primer palacio de justicia, oficina del secretario y cárcel del condado. El edificio más prominente del Distrito Histórico del Palacio de Justicia del Condado de Madison es el 1830 palacio de justicia de estilo jeffersoniano. Un elemento clave del complejo del palacio de justicia es la ca adyacente. 1832 taberna, una gran estructura de ladrillo con parapetos escalonados. Una de las principales residencias históricas es la casa del renacimiento griego ocupada por el mayor general confederado James Lawson Kemper, quien más tarde se desempeñó como gobernador. Además de sus estructuras de principios y mediados19del siglo XII, el Distrito Histórico del Palacio de Justicia del Condado de Madison también tiene un núcleo comercial de finales del siglo19, junto con varias residencias victorianas decorativas. Evitada por la Ruta 29de EE. UU., la ciudad conserva gran parte de su ambiente de pueblo temprano.