Dels murs i fortificaions del Besalú medieval queden restes esparses, sovint a l'interior d'edificis posteriors. Sabem que uns primers murs protegien el castell comtal i les seves dependències. N'és una mostra el portal de la Força al carrer del comte Tallaferro. El segle XII, un nou recinte rodejava el call jueu, l'església de Sant Vicenç i Vilarrobau, deixant a l'exterior el monestir de Sant Pere, que finalment quedà inclòs dins del darrer recinte fortificat del segle XIV.