El castell de Llort està situat al cim d'un turó, damunt de la confluència del riu Escrita, de la vall d'Espot, amb la Noguera Pallaresa. S'estenia per una plataforma lleugerament rectangular, amb una longitud de 60 m. i una amplada de 44 m. Aquest gran espai era tancat per una muralla que en alguns trams aprofitava la pròpia roca, amb torres i bestorres en alguns punts. L'entrada estaria situada probablement al costat occidental, i el sector residencial, de planta trapezoïdal, a la banda sud-oest. Algunes de les construccions estan adossades a la gran roca que presideix la part septentrional.