Nasce su un progetto dell'architetto Gian Giacomo Dell'Acaia questo possente bastione fortificato a pianta pentagonale, costruito per proteggere la città costiera dalle frequenti incursioni straniere. Per realizzarlo s'impiegarono materiali di edifici più antichi, tra i quali una fortezza del IX secola che tra il 1059 ed il 1098 i Normanni avevano rafforzato.

L'ingresso, sito nell'attuale piazza Castello, era protetto da un fossato e da un ponte che in parte era fisso in muratura e in parte levatoio in legno. Molto importanti erano i poderosi torrioni cilindrici angolari, ottimi punti di osservazione oltre che baluardi difensivi quasi impossibili da conquistare. Oggi il castello, che venne danneggiato una prima volta nel XVII secolo e colpito da un terremoto nel secolo successivo, ospita la Biblioteca Comunale ed il Museo Civico.

Da non mancare dopo, dopo una visita al castello, un giro della piazza, lungo la quale si affacciano due eleganti palazzi, interessanti esempi di dimore sei-settecentesche nelle quali viveva la nobiltà terriera: Palazzo Morelli, costruito nel 1885 secondo un sobrio e raffinato stile neoclassico, e Palazzo Barracco, a corte chiusa e con ballatoio interno.