El Centro Documental de la Memoria Histórica se encuentra situado en un edificio barroco obra de Joaquín Benito de Churriguera que se levantó como hospital de niños expósitos entre los años 1719 y 1720. Destaca sobre todo su fachada norte en la que sobresale a modo de retablo un cuerpo central, en el que sobre la puerta de entrada se ha dispuesto una hornacina con una escultura de San José con un niño en brazos rematada por una Virgen de la Misericordia y dos angelotes. Una cornisa en forma semicircular enmarca el conjunto que se remata con una cruz profusamente decorada.

Como resultado del proceso desamortizador, el edificio pasó a manos particulares y en 1903 lo compra la Fundación San Ambrosio que instala allí su colegio hasta que en 1937 lo cede a Renovación Española como guardia del General Franco. En julio del año siguiente el patronato del colegio accede a que lo use gratuitamente el Servicio de Recuperación de Documentos para alojar a su personal, comenzando así la relación del antiguo hospicio con las instituciones que darían lugar al actual Centro. En 1968 es adquirido por el Estado que realiza reformas que serán más importantes a partir del año 1979 para adecuarlo a las necesidades mínimas de un archivo. En el solar adjunto se levanta un edificio de nueva planta concebido y destinado exclusivamente como depósito documental, que comenzó a utilizarse en 1998, al iniciarse la rehabilitación del viejo hospicio.