Hi ha una certa confusió en relació a aquest castell, que a vegades s’ha identificat amb el castell d’Albinyana.

Aquest, però, estava situat dins el nucli urbà, prop de l’església, i del qual ja no en resta cap vestigi. Les ruïnes situades dalt del turó, prop de l’ermita de Sant Antoni, semblen correspondre a l’antic castell de l’Esquernosa o de l’Esquena Rosa (“Castrum de Squena Rosa”), esmentat des del segle XI.

Es conserven restes de muralla i la base d’una torre de vigilància.