Les restes del castell es troben a la casa que fou la rectoria del poble de Tost, avui abandonat. Es conserven restes de les escales que accedien a la part superior de la roca sud, i al costat de l'escala hi ha un cisterna de planta trapezoïdal i 50 m³ de volum. Les dependencies del castell ocupaven part de la rectoria però la superposició de construccions no permet delimitar clarament l'abast de les estructures primitives.