El Alcázar de los Condestables fue construido en el extremo suroeste del recinto amurallado de la ciudad. Lo mandó edificar Pedro Fernández de Velasco cuando reinaba Enrique II, del que era Camarero Mayor y posteriormente Condestable de Castilla (nombrado en 1473). Se estima que fue en 1370 cuando se comenzó a construir, y se finalizó en tiempos de Juan Fernández de Velasco.

Conocido popularmente con el nombre de “Las Torres”, fue palacio y castillo defensivo. Está compuesto por dos torres cuadrangulares (la torre sur es más alta que la norte) unidas por un cuerpo central. En 1931 fue declarado BIC (Bien de Interés Cultural) y en su interior alberga el Museo Histórico de Las Merindades.

Los Fernández de Velasco instalaron en el cuerpo central del edificio el gran salón del Alcázar, de grandes dimensiones, y al que se accedía mediante una escalera de caracol. A su derecha, aún se conserva la chimenea destinada a calefacción empotrada en el muro y el husillo de la escalera realizado en sillería.

En la torre sur encontramos el “Salón Noble”, donde se conserva parte de un friso mudéjar que la recorre, formado por medallones unidos entre sí, por otros lobulados y por las armas de los Velasco con adornos y dibujos entrelazados que caprichosamente semejaban a celosías. Además, tiene inscripciones arábigas escritas en caracteres africanos y cúficos. En la actualidad, está destinado a conferencias, reuniones, cursos de verano y celebraciones nupciales. La parte alta de la torre alberga el archivo municipal.

La torre norte carecía de decoración y debió dedicarse a aposentos de las gentes de armas, encargados de su custodia y defensa, y de la servidumbre de los señores.

Las cubiertas en origen serían terrazas de madera, aunque reformas posteriores lo convierten en un tejado de dos aguas en el cuerpo central y con forma piramidal en las torres.

En el siglo XIX, en el año 1896, los Duques de Frías lo ceden en usufructo al Ayuntamiento de Medina de Pomar, para pasar a su completa propiedad.

Fue restaurado en los 90 e inaugurado como museo en noviembre del 2001.