Considerada como la casa más impresionante de la ciudad de Martinsville, Scuffle Hill fue construida originalmente en 190506 para Benjamin F. Stevens, un ex ejecutivo de la compañía tabacalera Liggett & Myers. Stevens compartía la casa con su yerno y su hija, el Sr. y la Sra. Pannill F. Rucker. Rucker era un acaudalado fabricante de tabaco local. La mansión de veinte habitaciones, originalmente llamada Oak Hill, se incendió en 1917. Las paredes supervivientes fueron incorporadas por los Rucker a la casa actual, una gran obra de estilo neogeorgiano con finos detalles interiores. Entre los ocupantes posteriores se encuentran el ejecutivo de muebles Rives S. Brown y el magnate textil Walter L. Pannill, quien rebautizó el lugar como Scuffle Hill. Desde 1959 la casa ha sido la casa parroquial de la Iglesia Episcopal de Cristo. Aunque el nombre de ningún arquitecto se ha asociado con Scuffle Hill, la casa sigue siendo un imponente símbolo local de éxito.  También contribuye al distrito histórico de East Church Street–Starling Avenue.