Castell de Santa Oliva i l'església de la Mare de Déu del Remei formen un conjunt dins de la mateixa població de Santa Oliva. Es tracta d'una important fortificació amb una torre sencera del castell (segle XI), amb finestres romàniques. És conegut popularment per Castell del Remei. És format per dues torres laterals que delimiten un cos central de planta rectangular. La torre de ponent, de forma quadrangular, presenta una sèrie d'espitlleres i de finestres de mig punt (romàniques). La de llevant està formada pel sobrealçament de l'absis semicircular de l'església i també presenta espitlleres. Fou decapitada per reconvertir-la en un campanar. La torre de ponent i l'estructura central estan rematades per merlets. Els materials emprats de l'edificació són carreus irregulars.