En el Cabildo de 30 de enero de 1605, justo un año después de la fundación de la cofradía, se refleja en las actas del Cabildo que éste se celebra ya en “El Palacio del Sr. San Pablo”. “El Palacio” consistía en unas dependencias de la cocina vieja del convento de los Padres Dominicos. No era más que una cocina abandonada y una sala anexa en las mismas condiciones. En este primer momento fue en calidad de préstamo.
En el Cabildo de 30 de Septiembre de 1622 se lee una carta del Prior que solicita las salas donadas pues quiere tener estudios en el convento (habría un segundo requerimiento poco tiempo después).
Se busca otra sede y en el año 1635 hay un ofrecimiento de San Francisco para mudarse a su viejo “refitorio”. Pero el arraigo en San Pablo es ya grande, así se le comunica al Prior y éste acaba accediendo a una posible compra de los locales cedidos, más un arreñal (pequeño patio) colindante. En enero de 1636 se hace efectiva la compra y se empieza a arreglar el lugar, ya en propiedad. En el Cabildo de 15 de Julio de 1640 se rinden las cuentas de las obras, con lo cual se presupone que éstas habrían finalizado.
En 1659 se hace el primer “Inventario de la Hacienda de la Cofradía”, contando ya con 4 pasos, 4 estandartes, 14 varas y 228 cruces (lo que denota el carácter muy penitencial de la cofradía desde sus orígenes) entre otros muchos enseres. Tanto la Cofradía como su Palacio están consolidados.
Hasta 1707 no se habla de “Capilla” como tal. En el Cabildo de 20 de marzo se habla de unos arreglos en la misma (“arreglar la tapia hasta el tejado y hacer un dosel por encima del altar”), pero no se trata del a Capilla actual, sino de una mucho más humilde, ya en la ubicación de la actual, pero que las actas de los Cabildos cuentan que se quedaba pequeña.
En 1711 se acuerda el arreglo de la cantería de la puerta principal del Palacio. Ya se vislumbra que mantener esta Hacienda será el mayor desasosiego económico para la Cofradía.
No se encuentra descripción de la ampliación de la Capilla, pero ésta se debió de acometer 
en el período entre 1708 y 1713, pues en este año se comienza a hablar y a dar forma a la idea de que la Capilla tenga un “artesonado a similitud del de la Capilla de los Terceros del convento de San Francisco”.
Se empieza a ejecutar en 1714 y en este mismo año se decide hacer el retablo.
En 1724 se acometen las imágenes que poblarán el retablo.
Cabe destacar que durante la invasión francesa de 1808, nuestra Hacienda fue utilizada, como caballerizas en un primer momento; y como hospital de campaña en el retroceso de las tropas francesas.
No se hacen más comentarios sobre “la casa Nazarena” hasta 1845, donde se hace una donación de una campana, lo que obliga a hacer obra para mejorar la espadaña, lo que se acometerá en 1846.
En 1855 se han de acometer obras urgentes en la Ermita por el estado de la misma. Todos los Hermanos deberán aportar 10 reales, o bien dos días de jornal.
En 1867 se escribe una de las páginas negras de nuestra Cofradía: se produce un incendio que afectó a la parte delantera del tejado de la Capilla, junto al altar (Aun hoy es perceptible la zona afectada, pues, a pesar de estar junto al altar, parte principal, el artesonado es mucho más sencillo y con menos ornamento). Aunque en los documentos y actas de la cofradía no se habla mucho de este acontecimiento, se sabe que el alcalde de la ciudad, D. Juan Solórzano, estando en la cubierta viendo los efectos del fuego, ésta cedió bajo su peso, cayendo a la parte baja desde gran altura. No le sucedió absolutamente nada. ¿Milagro en nuestra Capilla?
En 1871 se registran nuevas obras en la Ermita.
En 1910 se instala la luz eléctrica, todo un acontecimiento de modernidad en la época.
En 1932 se termina el Nuevo Palacio (lo que hoy conocemos como Palacio de Hermanos. El antiguo Palacio es el conocido como Palacio de Hermanas). En la parte inferior derecha de la puerta (desde el patio) se puede leer la fecha de 17-7-1932, fecha que se terminó la obra y parece ser que tras esta losa hay una cavidad con periódicos, monedas menores y otros útiles de la época.
En julio de 1940 tenemos otro triste episodio: se derrumba el local de los pasos, las habitaciones del criado y parte de la Capilla y del Salón de Hermanas. Los pasos quedaron tan deteriorados que no salieron en las procesiones del año siguiente. El coste de toda la reparación ascendió a 25000 pesetas de la época. Estos y otros gastos que se acababan de acometer provocan que en noviembre de 1943 se tengan que vender las conocidas como viviendas de los criados a la Sacramental de Santa Marina para poder liquidar todos estos gastos.
En 1954 se arregla el altar y se instala un nuevo Sagrario.
En 1955 se tiene que adaptar la capilla los nuevos pasos, pasando el viejo Titular Nazareno y la Nueva talla Mariana a dos capillas habilitadas en las paredes laterales de la Capilla y pasando el Nuevo Nazareno con el Cirineo a ocupar la parte principal del altar, tal y como lo podemos ver en la actualidad.
En 1970 se instalan los bancos que hoy conocemos y en 1972 se acometen las obras en la fachada, revistiéndose con piedra de Campaspero la fachada de la Capilla y el resto con un estucado firme. Se pusieron nuevas las puertas y se pintó la Capilla.
En los años 90 y primera década del 2000 se acometen de nuevo múltilples obras de mejora de todas las infraestructuras: tejados, caldera, interior de la capilla, calzado de fachada principal, adecuación y nuevos depósitos en la bodega… Y un largo etcétera que hace que nuestro patrimonio haya llegado en un gran estado hasta nuestros días. Además se recupera la totalidad del edificio, recomprando la parte vendida a la Sacramental de Santa Marina en su día.
Más de 400 años de historia, llenos de avatares que han marcado tanto nuestra forma de entender una Cofradía Penitencial como “NUESTRA CASA FÍSICA”.
Bienvenidos seáis todos a ésta, nuestra casa. Vuestra casa.
