Il nome del castello proviene da una leggenda. Si narra che, circa due secoli fa, un abile medico palermitano, certo Gaetano Palmieri, salvò da una gravissima malattia il figlio del Principe di Palagonia, il Gravina-Crujllas, e che questi, grato, gli donò un appezzamento del suo feudo situato vicino al fiume Fiumefreddo.
Il Palmieri volle costruirvi una villa fortificata per abitarla per lunghi periodi dell'anno anche perché quel luogo era molto gradito alla bella moglie Rosalia, che amoreggiava, però, con un certo Nello Corvaja di Taormina.
Un giorno sbarcarono dei pirati turchi, i quali si diedero al saccheggio e, giunti al castello, rapirono i due proprietari; ma, mentre stavano per arrivare alla spiaggia per fuggire furono raggiunti da alcuni giovani armati, con a capo il Corvaja, che dall'alto di Taormina aveva visto approdare le tristi galere. I pirati furono così uccisi o vennero messi in fuga ed i Palmieri liberati.
Per ringraziare il Padre Eterno fu eretta una chiesetta, accanto al castello, dedicata alla Madonna della Sacra Lettera, e fu costruita la loggia nella quale vennero poste le statue di due turchi, che sembrano guardare ansiosi verso il mare, come in attesa di essere liberati dai loro compagni. Ed è proprio grazie a queste due statue di mori, in siciliano chiamati anche ‘schiavi’, che la leggenda vuole che il Castello sia stato denominato "degli Schiavi".