Durante casi dos siglos, esta vivienda muy ampliada fue el hogar de la familia Fudge. Los Fudges eran de ascendencia alemana del condado de Rockingham; su nombre original era Futch. La propiedad fue adquirida por los hermanos Christian y Conrad Fudge en 1795. Alrededor de 1798, Conrad Fudge construyó una casa de troncos de dos pisos que es el núcleo de la vivienda actual. Fudge amplió sustancialmente la casa en la década 1820, añadiendo una gran sección de ladrillo y nuevas chimeneas. Su hijo Andrés heredó la propiedad en 1849. Cultivaba la tierra y operaba una destilería, además de servir como secretario del condado. El hijo de Andrew, Joseph, y tres de sus hermanos lucharon en la Guerra Civil, sirviendo en la Brigada de Stonewall. Joseph heredó la propiedad y amplió aún más la casa en 1897, dándole su actual apariencia victoriana. La casa, ahora dentro de los límites de la ciudad de Covington, fue vendida de la propiedad de la familia Fudge en 1991.