El padre de Cayetana Fitz-James Stuart mandó a construir el panteón familiar en 1909. Allí descansan Luis Martínez de Irujo y Jesús Aguirre, los dos primeros maridos de la aristócrata

En el año 1.633, la jurisdicción fue vendida al Conde Duque de Olivares, predilecto de Felipe IV. Cuenta la tradición que el Conde-Duque pidió hospedarse una noche en el convento, pero la abadesa no le dejo entrar. Tuvo entonces que viajar a la capital para alojarse, y en desagravio, cuentan que mandó edificar un convento justo al lado suyo, para hacerle sombra. Y es en 1.640 cuando se funda El Convento de la Inmaculada Concepción de las Dominicas Recoletas, en la actualidad conocida como "Convento Grande". Hay que subrayar que su fachada está inspirada en el Real Monasterio de la Encarnación de Madrid. El convento se le otorgó valiosas pinturas y ornamentos, que fueron desvalijados durante la Guerra de la Independencia y la Guerra Civil.