Inverness ejemplifica la evolución de la arquitectura y las prácticas de construcción en el centro de Virginia, al igual que su historia refleja los amplios patrones de las prácticas agrícolas de los últimos dos siglos. La casa principal creció en cuatro etapas, comenzando alrededor de 1800 y culminando con el ícono porticado del "Viejo Sur" logrado alrededor de 1907. Hasta el final de la Guerra Civil, Inverness fue propiedad de la familia Dickenson y pasó de ser una modesta granja del condado de Nottoway a una trabajada por más de 25 esclavos. Después de la guerra, Samuel S. McLean, una figura pintoresca de los estados emergentes del oeste, adquirió y nombró la propiedad. Participó en la fiebre del oro de California, sirvió en el gobierno territorial de Colorado y formó parte de la primera delegación de Montana en el Congreso de los Estados Unidos. Se dice que McLean nombró a la capital de Montana, Helena, en honor a su hija Helen. Esa misma Helen y su esposo, James P. Agnew, un farmacéutico y banquero del condado de Nottoway, eventualmente vivieron en Inverness y operaron una granja lechera allí. La explotación lechera continuó en la familia hasta la década 1970. En 1993, la Sra. Lillian Agnew Leath donó la propiedad al Programa de Donaciones del Patrimonio del Fondo Nacional para la Preservación Histórica. El fideicomiso vendió la propiedad de Inverness con servidumbres de espacio abierto y preservación.