El castell és modulat al voltant d'un pati central, d'armes, i es composa de diverses edificacions, essent l'edifici principal el situat al sud i a l'est. A l'exterior hi ha la capella, romànica, de Sant Iscle i Santa Victòria. L'aspecte actual del castell-palau és fruït de diverses reformes en època moderna i contemporània, però manté abundants estructures d'època gòtica. El seu origen és probablement un vil·la romana, posteriorment transformada en casa forta, després castell i a cavall dels segle XIV i XV en castell-palau. No en romanen elements antics o alt-medievals, per bé que en el subsòl és més que probable la conservació de restes.