Joseph Foster, nativo de Newport, Inglaterra, fue el primer propietario de esta casa solariega en forma de T construida en el condado de New Kent, cerca del río Pamunkey. Aunque la pérdida de los primeros registros de New Kent impide la datación precisa, la casa probablemente fue construida entre 1685 y 1690 cuando Foster representaba a New Kent en la Casa de los Burgueses. El castillo de Foster comparte con las cercanas Criss Cross y Bacon's Castle en el condado de Surry la distinción de ser las únicas casas señoriales del período Estuardo que quedan en Virginia, con porches cerrados con cámaras encima, una característica típica de las casas inglesas posmedievales. La mayor parte del interior original del castillo de Foster fue reemplazado a principios del siglo 19, y las paredes de un piso en el cuerpo principal de la casa se elevaron a dos pisos en 1873. A pesar de estos cambios, las secciones de la pared que sobreviven del castillo de Foster constituyen un documento significativo de la arquitectura más antigua de Virginia.