Percorrendo via Pio IX e successivamente via Aragonese, in un complesso di vicoletti, portali torri e campanili, si raggiunge il Castello Angioino Aragonese. Il complesso, con una superficie di circa 14 000 metri quadrati, si erge monumentale su una falesia a difesa di tutto il borgo medioevale sviluppatosi nel periodo ducale tra'il IX e XII secolo sul versante degradante verso mare. Il primo nucleo costrutti vo risale probabilmente al VI o VII secolo come risposta all'invasione dei Longobardi. Nel 1223 lo stesso Federico Il vi soggiornò dando l'ordine di fortificarlo. L'aspetto attuale si ricollega a due distinti momenti costruttivi: la dominazione francese degli angioini per la parte basale e quella spagnola degli aragonesi per il complesso superiore. La sezione angioina fu realizzata a partire dal 1279, dopo che il pontefice Gregorio IX attaccò e distrusse il castello. Presenta una forma irregolare ed è delimitata verso il borgo da due torri tronco coniche che ne rafforzano la struttura. Fino a pochi anni fa è stata sede del Carcere Militare di Gaeta, attualmente è stata acquisita dal Comune e sono in corso i lavori di restauro per destinarla a sede universitaria di discipline marinare dell'Università di Cassino. La sezione aragonese presenta una forma rettangolare e tre torri cilindriche in tre dei suoi vertici di cui una molto più alta delle altre. Gran parte dei lavori furono realizzati da Alfonso d'Aragona verso il 1430 che la trasformò in una reggia con annessa sala del trono, appartamenti e zecca del Regno di Napoli. Nei primi decenni del 1500 Carlo V rinforzò il complesso facendo costruire nuove torri e bastioni. Infine Ferdinando Borbone nel 1849 fece costruire nella torre più alta la "Cappella Reale". Attualmente l'ala aragonese del castello occupa la Scuola Nautica della Guardia di Finanza.