Esta casa adosada arquitectónicamente sobria es representativa de las muchas viviendas de clase media construidas después de la destrucción de Norfolk durante la Revolución Americana. Fue erigido por William Willoughby poco después de comprar el lote en 1794. Willoughby, un comerciante y contratista local, también era descendiente de Thomas Willoughby, propietario original de la tierra en la que se estableció Norfolk en 1682. El Dr. Byrham Baylor, quien se casó con la nieta de Willoughby en 1845, probablemente agregó el porche con columnas dóricas y otros toques del renacimiento griego en ese entonces. En 1964 la Casa Willoughby-Baylor se salvó de las demoliciones que arrasaron con gran parte de su vecindario a través de la compra por parte de la Fundación Histórica de Norfolk. La fundación restauró la casa como un museo que ilustra el gusto de las familias de ingresos medios de Norfolk, en contraste con la más elegante Moses Myers House. La administración de la Casa Willoughby-Baylor fue transferida al Museo Chrysler en 1969.