Il Castello, imponente fortezza medioevale, si pone alto e maestoso sulla parte più elevata della collina di Sant'Angelo. Esso fu costruito nel secolo IX ad opera di Docibile I, ipata di Gaeta (882). Originariamente era costituito dalla torre poligonale e dalla cinta merlata con i torrioni: con tali costruzioni si intendeva porre una valida fortezza a difesa del territorio dalla minaccia di nuove incursioni dei Saraceni e di altre popolazioni arabe.
Nel 950 Marino I, il nipote di Docibile, fece costruire una seconda torre quadrata (mastio), più alta e imponente della prima.
Successivamente il Castello fu oggetto di nuovi lavori, con la costruzione, in ordine di tempo, del torrione cilindrico, della parte abitativa e del camminamento che li unisce (1250).
Del complesso fa parte anche un fortilizio con tre torrette cilindriche poste ad un livello più basso, visibili dall'ingresso principale: esso era adibito a luogo di ristoro per cavalli, servitù e gendarmi.
Grazie ad una cancellata, da questo luogo, è possibile vedere il ghetto ebraico, dove si trovava una piccola sinagoga ormai scomparsa.
Il rione ebraico era posto fuori dalle mura del castello e fuori dal primo nucleo abitativo, circondato da mura che comunicavano col resto della cittadella tramite una porta, la quale veniva chiusa a chiave di notte per impedire che gli Ebrei si confondessero con la popolazione locale. Questi ultimi erano grandi artigiani e commercianti perciò temuti da tutti, in particolare dal Cardinale Ippolito de’Medici che, per paura, li rinchiuse nel ghetto, costringendoli ai lavori più umili.
La parte abitativa del castello si sviluppa su due piani, ciascuno suddiviso in tre stanze, ed unisce la torre poligonale alla torre quadrata.
Entrando nel poderoso maniero, subito a sinistra si aprono due sale, da qui si può accedere, attraverso una scala, al piano sottostante. Quest’ultimo è costituito da due ampi vani, probabilmente adibiti a locali di servizio come farebbero pensare alcune vasche visibili tuttora nella seconda stanza, molto probabilmente usate per conservare i cibi. Vi si notano anche le sagome di vecchi forni e l’antica cisterna dove veniva raccolta l’acqua piovana.
Saliti al secondo piano, si possono ancora vedere i resti di quello che era un camino e un affresco raffigurante, si presume, Sant'Antonio Abate e Madonna con bambino. Proprio in quel posto era stata fatta costruire, a spese della famiglia Catani, una cappella gentilizia, ciò lascia intuire che nella stanza accanto ci fosse una camera da letto.
Salendo l’ultima rampa di scale si accede ad un’ampia terrazza panoramica, da cui è possibile scorgere varie torrette d’avvistamento. Inoltre si nota il torrione cilindrico, definito "Torre del Coccodrillo” perché, nella parte inferiore, c’era dell’acqua con un coccodrillo, a cui, secondo la tradizione popolare, venivano dati in pasto i prigionieri che erano stati condannati a morte. Attorno a questa torre sono sorte innumerevoli leggende. Secondo una di esse nel castello vagano, come anime in pena, numerosi fantasmi, e nelle notti di tempesta si possono udire dei lamenti o addirittura vedere lo svolazzare dei mantelli lungo il camminamento. Tutto ciò conferisce alle rovine un qualcosa di tetro e affascinante al tempo stesso.
Il camminamento di ronda, che conserva ancora in buone condizioni la merlatura, è percorribile fino alla torre circolare, splendidamente restaurata. Si narra che in passato il castello ospitò la bellissima Giulia Gonzaga, contessa di Fondi, una delle più celebri donne rinascimentali, che accoglieva nella sua dimora artisti e letterati dell’epoca.
Negli anni settanta la provincia acquistò, ad un prezzo simbolico, dal Dottor Comm. Francesco Saverio Ialongo ed in seguito lo donò all’Amministrazione Comunale di Itri.
Negli anni novanta, grazie ai finanziamenti concessi dalla Regione Lazio, sono cominciati i lavori di ristrutturazione. Il 14 giugno 2003 è stata inaugurata la prima parte restaurata del castello.
Il 14 settembre 2007, dopo lavori ultradecennali e straordinari, l’intero castello è stato restituito alla comunità.