Bloomsbury, en el condado de Orange, fue fundada algún tiempo después de 1720 por el coronel James Taylor, Sr., uno de los primeros terratenientes de la zona y antepasado de los presidentes James Madison y Zachary Taylor. La fecha de la sección original no está documentada, pero puede haber sido construida ya en 1722 para James Taylor II. Aunque su exterior es modesto, el interior finamente decorado de Bloomsbury tiene un plano de planta único y una escalera inusual. Según la tradición familiar, el amplio rellano de la escalera, con su barandilla decorativa de balaustre torneado, formaba una galería de músicos. La casa se duplicó en tamaño con una simple adición de dos pisos alrededor de 1800. Bloomsbury está inusualmente bien conservado y conserva un pintoresco entorno rural de amplios campos y colinas boscosas en la base de la montaña Jerdone, al este de la ciudad de Orange. En los terrenos hay un ahumadero del siglo 19, un cementerio del siglo 18y vestigios de un raro jardín temprano con terrazas y un área hundida.