La Casa de Piedra, llamada por James Galt Williamson en 1838 "uno de los edificios más antiguos del país", ha sido objeto de la tradición local durante más de dos siglos. Construida en piedra en un lugar aislado y con una topografía difícil, se ha afirmado que la estructura del condado de James City es todo, desde una fortaleza asociada con la rebelión de Nathaniel Bacon hasta el almacén para el saqueo de Barbanegra. El edificio había caído en ruinas en el momento de la visita de Edmund Ruffin en 1841. Un boceto de las ruinas de la Casa de Piedra (en la imagen) apareció en las Colecciones Históricas de Virginia de Henry Howe (1845). Partes de sus murallas sobrevivieron hasta este siglo. Un estudio 1972 realizado por el Departamento de Recursos Históricos de Virginia identificó los cimientos, que son de arenisca sin cortar de dos pies de espesor. Una investigación arqueológica más extensa podría resolver el misterio de esta intrigante estructura.