Nombrada en honor al príncipe Carlos, más tarde rey Carlos I, la Corporación de la Ciudad de Charles se estableció en 1618 y se convirtió en el condado de la Ciudad de Charles en 1634. Los juzgados anteriores estaban ubicados en City Point y luego en Westover. El actual palacio de justicia se erigió en la década 1750tras la imposición en 1748 y 1749 de un gravamen especial para la construcción de un nuevo edificio judicial. Una vez finalizado, el tribunal hizo pagos al coronel Richard Bland, un constructor. El edificio compacto es uno de los seis palacios de justicia coloniales porticados que quedan en Virginia. La similitud de la mampostería con la de la cercana Westover sugiere que los dos edificios compartían albañiles. El palacio de justicia fue saqueado por las tropas de la Unión durante la Guerra Civil, y muchos de los primeros registros se perdieron. Más tarde, la arcada se cerró para proporcionar espacio adicional. El Palacio de Justicia del Condado de Charles City todavía tiene su uso original después de casi tres siglos.