La modesta vivienda de Cleydael fue construida en 1859 como un retiro de verano en el condado de King George para el Dr. Richard H. Stuart. Al ubicar su casa lejos del río Potomac, Stuart estaba convencido de que un sitio tierra adentro en un terreno elevado ofrecería un respiro más saludable de los bochornosos veranos de Tidewater. La ventilación adicional fue proporcionada por el plano de planta en forma de T de Cleydael. El Dr. Stuart trasladó a su familia a Cleydael durante la Guerra Civil, confiando en que estaría a salvo de la actividad militar. El general Robert E. Lee envió a sus dos hijas a quedarse con sus primos en Cleydael cuando se vieron obligados a abandonar Arlington. Después de su asesinato de Abraham Lincoln, John Wilkes Booth, con sus compatriotas, buscó ayuda médica del Dr. Stuart en Cleydael. Stuart, consciente del asesinato, sospechó y rechazó la ayuda y el refugio de sus visitantes, despachándolos después de darles la cena.