Situat al cim de la població de Sort, ocupa un ampli espai tancat per tot un seguit de murs que delimiten un perímetre poligonal. Del castell dels segles XI-XII només es conserva la façana de llevant, amb dues torres cilíndriques als extrems. Adossat a aquest mur trobem la façana que formava part del palau gòtic des segles XIII - XIV, amb un portal adovellat a la planta baixa, una gran espitllera al seu costat i dos finestrals gòtics geminats de tres arcs lobulars, restaurats l'any 1984. Per sobre d'aquestes s'obre un ull de bou amb el marc bisellat. En el mur nord s'alça una tercera torre, de planta semicircular allargada i un diàmetre més gran que la resta, identificada com la torre de l'Homenatge. La gran torre de l'angle nord-est va ser reconstruïda l'any 2007.