El castell de Barberà, convertit en masia, conserva alguns elements antics tot i les transformacions que ha patit al llarg del temps. Està configurat a partir d'un nucli central de planta rectangular envoltat per un mur de tancament perimetral al que s'associa un baluard atalussat adossat a la cantonada NW del cos central. A l'angle SE i davant la façana principal queden restes del que va ser la capella dedicada a "Sant Silvestre i Santa Coloma", primitivament de gòtic senzill i reconstruïda en el segle XVIII segons l'estil de l'època. Tot el conjunt es troba envoltat per un fossat delimitat a la banda interior pel mur de tancament de l'edifici i exteriorment per un mur atalussat que fa les funcions de contrafossat. L'accés principal, format per un gran portal de mig punt adovellat, està situat al sud i s'hi accedeix a través d'un pont; a més, hi ha dos accessos més, un situat a llevant i una petita entrada situada al costat de la cantonada SW del recinte, comunicant directament amb l'interior del fossat.