Incluso en sus ruinas, Idlewild, que alguna vez fue una impresionante vivienda de estilo neogótico, es un hito prominente en la cima de una colina en Fredericksburg. Construido por el constructor James Tongue para William Yates Downman y su esposa Mary en 1859, Idlewild era el centro de una granja de 222acres. En abril de 2003, un incendio destruyó gran parte del interior de la vivienda, así como su cubierta de pizarra, dejando intactos solo las paredes y el sótano inglés. Tres dependencias domésticas de ladrillo con techos de pizarra, que se cree que fueron construidas en el mismo período que la vivienda, permanecen intactas y su construcción revela la prosperidad de la familia Downman. (Ubicado al suroeste de las ruinas se encuentra el cementerio de mascotas de la familia Downman). Como escenario de la acción de batalla en la Guerra Civil durante la campaña de Chancellorsville, Idlewild se convirtió en un punto de referencia en el campo de batalla, notado por las tropas de ambos bandos. También sirvió como cuartel general del general confederado Robert E. Lee el 4de mayo de5de 1863 al final de la campaña.