Situado en el extremo sur de la ciudad de Orange, Chestnut Hill fue construido alrededor de 1860 como una vivienda de moda de estilo italiano / renacimiento griego para el empresario y político local Alexander Daley. Daley, un inmigrante irlandés, llegó a Orange en los años 1840y fundó una curtiduría, un concesionario de cuero y una fábrica de zapatos. Chestnut Hill es una de las únicas docenas, y una de las mejor conservadas, residencias de la ciudad que sobrevivieron de la era anterior a la guerra. En 1883, Daley vendió la propiedad a Reuben Conway Macon y su esposa Emma Cassandra, y la propiedad permaneció en manos de la familia Macon hasta la década de 1940. Con la excepción del techo abuhardillado añadido por los Macon en 1891, la parte original de la casa ha permanecido poco alterada. En 2003, para preservar la casa de la destrucción en un proyecto de carretera, se trasladó aproximadamente 150 pies de su sitio original. Chestnut Hill es representativo de los tipos de residencias construidas y habitadas por familias locales influyentes, ya que Orange pasó de ser una pequeña sede del condado a una importante ciudad regional a mediados del siglo19.