La Charlottesville Industrial and Land Improvement Co. erigió este edificio en 188990 y lo transfirió junto con una cierta cantidad de terreno (Manzana 2 del plano de Rose Hill) a James y James A. Armstrong, "en consideración de que ocupan dicho edificio para la fabricación de artículos de punto, y emplean de sesenta a setenta manos por un período de cinco años y un promedio de cien jornaleros". El estatus del Edificio Armstrong como el edificio industrial más antiguo que sobrevive en Charlottesville, y el único edificio industrial en el estilo del Segundo Imperio, lo convierten en una parte importante del tejido arquitectónico e histórico de la ciudad y del vecindario de Rose Hill.

Los edificios y distritos enumerados bajo la nominación del Área de Recursos Múltiples de Charlottesville representan una muestra representativa de todos los períodos históricos de la ciudad, desde la fundación de Charlottesville en la década de 1760hasta el advenimiento del automóvil y el impacto que tuvo en la expansión de la ciudad. También se incluyen edificios que han desempeñado un papel importante en la historia de la comunidad negra de Charlottesville. La Armstrong Knitting Factory fue incluida en los registros bajo el MRA de Charlottesville sin un documento formal de nominación.