El teniente general confederado Ambrose Powell Hill (1825-1865) vivió en la parte original de esta casa del condado de Culpeper desde los siete años hasta los 1842años, cuando ingresó a la Academia Militar de los Estados Unidos. Los padres de Hill ampliaron la sencilla casa federal hasta convertirla en el actual edificio de estilo villa italiana justo antes de la Guerra Civil, ampliando su profundidad y añadiendo el tercer piso, la cornisa con ménsulas pesadas y la cúpula. Más tarde modificada para uso comercial, la Casa de la Infancia A. P. Hill, situada en una de las principales intersecciones de la ciudad de Culpeper, sigue siendo un elemento arquitectónico dominante en el centro de Culpeper. A. P. Hill fue uno de los lugartenientes más apreciados del general Robert E. Lee; le ayudó en casi todos los enfrentamientos importantes del Ejército de Virginia del Norte hasta que fue asesinado el 2de abril de 1865, justo después del asedio de Petersburgo.