Philip St. George Cocke, miembro de la Junta de Visitantes del Instituto Militar de Virginia , deseaba hacer de la recién establecida academia militar estatal un gran instituto politécnico del sur ubicado en un prominente complejo arquitectónico en la ciudad de Lexington. Jugó un papel decisivo en el encargo del renombrado arquitecto Alexander Jackson Davis de diseñar la planta física. Durante los años 1848 a 1861 Davis proporcionó seis edificios de estilo gótico almenado, formando uno de los primeros complejos de campus de renacimiento gótico de la nación y un prototipo para numerosas escuelas militares. El elemento dominante del grupo es el Cuartel, una prodigiosa estructura similar a una fortaleza con torres en las esquinas, parapetos almenados y un cuadrilátero interior con galerías. El edificio fue incendiado por las fuerzas de la Unión en 1864 , pero fue reconstruido según el diseño de Davis en 1867de68. El cuartel del Instituto Militar de Virginia se ha ampliado desde entonces, pero la elevación este, el frente principal, conserva gran parte del romanticismo original del diseño de Davis.