El castell es trobava al cim del pujol de Catllar, al damunt de l'església de Santa Maria del Catllar. Tot el cim, lleugerament aplanat, havia estat clos dins un recinte de muralles. Té tres nivells. El primer d'ells, el més inferior, es troba a la part oriental i té restes d'un mur exterior d'un gruix de 60 centímetres. A continuació es troba la plataforma on devia ser-hi el castell; fa 19x7,5 metres, un marge la divideix en dos i tot al seu entorn es troben restes de murs.