Les ruïnes del Castell de Selma estan situades al cim d'un puig, sobre el poble abandonat del mateix nom. Actualment el conjunt es troba en força mal estat però encara son visibles tres espais: una possible torre, una sala i un recinte jussà. De la torre, de planta quadrada, només en resta la meitat. A l'est d'aquesta estan les restes d'una sala allargada, més ampla a l'extrem occidental i rematada a l'est possiblement per una mena de bestorre. El recinte jussà s'estén al sud i l'est d'aquesta sala. Feia uns 15 m. de llarg i la porta d'accés estava situada a l'oest. D'aquest recinte surt, en direcció est, un mur d'uns 10 m. que acaba en un portal, el qual devia ésser acabat amb un arc de mig punt. Tant la possible torre com la sala corresponen a un primer moment constructiu, tot i que la sala fou refeta i ampliada en un segon moment. En una tercera fase es construí el recinte jussà.