El Castell de Vilajoan és un edifici aïllat que es troba a l'extrem meridional del poble, a tocar del marge del Fluvià. És un gran casal de planta rectangular construït amb còdols, i un petit pati central. La façana principal està encarada al nord. El portal, d'arc de mig punt, adovellat, s'obre a la base d'una torre rectangular que forma continuïtat amb la resta del mur, sense destacar-se. A la part alta del mur hi ha merlets rectangulars amb espitlleres. Veiem un matacà ben conservat, damunt el portal, amb carreus esquadrats. A la resta del mur els espais entre els merlets resten aparedats i damut d'ells hi ha una teulada. S'obren en aquesta façana dues finestres coronelles, geminades, gòtiques, d'arquets trilobulats. El mur occidental paral.lel al riu, mostra a l'extrem nord el cos rectangular de la torre cantonera adossada a la fortificació. La torre posseeix merlets també aparedats.