El Palacio de los Duques de Frías tiene a sus pies la plaza del Mercado, rodeada por construcciones típicas de calles porticadas. Erigido a los pies del castillo, los Tovar convirtieron este palacio en su morada en Berlanga de Duero desde el siglo XVI.
De él sólo se conserva la bella fachada plateresca de piedra de sillería con una de sus dos torres en el extremo, toda vez que fue incendiado durante la Guerra de la Independencia por el ejército francés.
De sobrio estilo renacentista y con barbacana corrida, no tenía la fachada más adorno que una sencilla línea de ventanas en la parte superior y el escudo de los Tovar. En su interior se hallan las terrazas escalonadas de jardines renacentistas, únicas en su género.
Actualmente, su edificio integra la oficina de turismo, una sala de exposiciones y un mirador.