Declarat com un bé cultural d'interès nacional, el castell en ruïnes d'Albinyana està situat molt a prop de l'ermita de Sant Antoni. Ho que queda avui s'ha identificat com les restes de muralla i la base d'una torre de vigilància. El castell es va construir en el segle XI. Quan Adalbert, fill del vescomte Guitard, heretà el territori, reconstrueix el castell i posseí el seu extens terme. Després de la seva mort, el castell passa a ser propietat de Sant Cugat del Vallés i comença la colonització del territori envers el 1040 amb l'obligació de reconstruir el castell i de fer-hi una torre. No hi han vestigis d'aquest castell i es creu que la seva ubicació exacta deu haver estat molt a prop de l'església d'acord amb la confirmació papal del 1098.