Shirley fue patentada en 1660 por Edward Hill, antepasado de los actuales propietarios. El complejo formalmente arreglado en el condado de Charles City ilustra bien el aire de pueblo de una gran plantación colonial, pero con especial atención a la ubicación y el tratamiento arquitectónico de las estructuras subordinadas. La mansión, las dependencias de la explanada, los graneros y dos casas de tres pisos desaparecidas, fueron construidas ca. 1738 tras el matrimonio de Elizabeth Hill, heredera de Shirley, con John Carter, hijo de Robert ("King") Carter. La mansión fue remodelada en la década 1770por Charles Carter, quien instaló la rica carpintería interior y agregó los pórticos. Los pórticos fueron modificados en 1831. El majestuoso complejo Shirley, junto con su acumulación de muebles y retratos familiares, presenta una de las imágenes más memorables de la continuidad de la sociedad de plantación de Virginia. Anne Hill Carter, esposa de "Light-Horse Harry" Lee y madre de Robert E. Lee, nació en Shirley en 1773.