Il Castello Spinola-Caracciolo, che si erge nel centro dell'abitato, trova le sue origini nel XIII secolo come opera fortificata. L'edificio venne successivamente adeguato alle nuove esigenze belliche nel XV secolo, epoca in cui i Saraceno erano signori di Andrano. I lavori furono sicuramente accelerati in seguito all'invasione turca che interessò la vicina Otranto nel 1480, mettendo in allarme i centri limitrofi. Lo stesso Antonio Saraceno, allora signore di Andrano, accorso in aiuto ad Otranto con un suo esercito, vi perse la vita. Il castello presenta pianta quadrangolare, rinforzata agli spigoli del prospetto principale da torrioni a sezione quadrata. Un cornicione marcapiano divide il piano nobile da quello inferiore, mentre la facciata conserva una caditoia, perpendicolare al portale d'accesso.Dopo i Saraceno, il castello divenne dimora degli Spinola di Gallipoli (1606), dei Gallone di Tricase (1618-1734) e dei Caracciolo di Marano, proprietari del castello fino a non molti decenni fa. Dopo i Caracciolo, il maniero fu in parte venduto alla famiglia Bentivoglio e in parte donato all'Istituto Maestre Pie Filippini. Venne acquistato dall'Amministrazione Comunale nel corso degli anni Ottanta.