Tra i diversi bei castelli chiaramontani in Sicilia, quello di Palma di Montechiaro è il solo edificato su su un costone roccioso a picco sul mare.
Realizzato nel 1353 fu, per la sua posizione strategica, di grande importanza nella storia della lotta contro i pirati.
Dopo la morte di Andrea Chiaramonte e la confisca di tutti i suoi beni, il castello passò alla famiglia Moncada che ne cambiò il nome in Montechiaro con il chiaro intento di cancellare la memoria dei precedenti signori.
Dopo vari passaggi il castello perviene nel XVII secolo, per linea femminile, alla famiglia Tomasi un componente della quale, Carlo Tomasi Caro, ricevette dal re Filippo IV il titolo di duca di Palma.
Questi, abbracciata la vita monastica, cedette tutti i suoi beni al fratello Giulio che fu II duca di Palma e I principe di Lampedusa.
Abbandonato al degrado per parecchio tempo, solo da poco ha subito lavori di restauro.
E' da ricordare che all'interno della cappella è custodita una statua della Madonna che il Caputo attribuisce ad Antonello Gagini.
Assai interessante è la leggenda in cui si narra che la statua, sottratta dai vicini abitanti di Agrigento, fu riportata dai palmesi nel castello dopo una lunga e furibonda lotta. Ad avvalorare tale fatto è il nome dato ad un corso d'acqua che da allora fu indicato come il " vallone della battaglia ".