La sección más antigua del Castillo de Jerdone fue construida ca. 1745 por Francis Jerdone, quien emigró al condado de Louisa desde Escocia en 1740. Además de expandir sus propiedades originales y construir una residencia, Jerdone operó tiendas, molinos y una fragua. La última sección principal de la casa fue construida en 1858 para la descendiente de Francis Jerdone, Sarah Jerdone Coleman y su esposo, el general Clayton Coleman. El generoso tamaño de la estructura se enfatiza con una cornisa y una cúpula con ménsulas de estilo italiano. En 1879 la finca fue comprada por Frank T. Glasgow de Richmond, padre de la escritora Ellen Glasgow. Ellen Glasgow pasó los veranos de su infancia en el castillo de Jerdone, lo que más tarde dijo que influyó mucho en su escritura. En el cuarto capítulo de The Woman Within, titulado "I Become a Writer", la señorita Glasgow describe cómo se tumbaba en el prado del castillo de Jerdone y se daba cuenta de que escribir iba a ser su futuro.  Después de décadas de abandono, el castillo de Jerdone fue restaurado a finales del siglo 20.