Nel 1516, alla morte del re Ferdinando d'Aragona (Ferdinando il Cattolico), il trono di Spagna venne ereditato da suo nipote Carlo d'Asburgo passato poi alla storia come Carlo V, imperatore del Sacro Romano Impero.
Continuando le opere di fortificazione della città di Gaeta, già iniziate dal nonno, Carlo V dal 1516 al 1538, avvalendosi dell'ingegno dei migliori architetti militari del suo tempo, fece erigere un'alta e robusta muraglia lungo la linea di costa a partire dall'attuale Punta Stendardo che seguendo il litorale, giungeva fino all'opera di protezione, avanzata e ben difesa, chiamata "La Cittadella", sotto la quale venne collocato l'accesso principale della Città.
Quest'ingresso è costituito da un grande androne fra due porte, una orientata ad est e l'altra a sud. Sulla porta meridionale è stato ricollocato dopo l'Unità d'Italia lo
stemma dell'imperatore che era stato rimosso e sostituito, durante la dominazione dei Borbone di Napoli, dall'emblema di questa dinastia.
L'intero complesso, oggi conosciuto come Porta di Carlo V (o della Cittadella), per secoli (fino al 1928) è stato per chi proveniva dalla via di terra l'unico accesso alla Città fortificata e, per questo motivo, è noto anche come Porta di Terra, denominazione data anche al rione circostante.
Nell'anno 1660 governava la piazza di Gaeta il generale spagnolo e Maestro di Campo Don Alonso de Monrroy il quale, forse "in ringraziamento per essere scampato ad un attentato nel quale era rimasto ucciso il suo aiutante", fece edificare nell'androne della Porta di Carlo V una cappellina dedicata alla Madonna e volle che fosse simile ad altra fatta erigere in Napoli dal Maestro di Campo don Luigi Henriquez. Vi fu esposto un quadro della Vergine Addolorata che gli Spagnoli onorano in modo speciale sotto il titolo di S. Maria de la Soledad e che il popolo ben presto chiamò impropriamente della Solitudine o Solitaria.
Il Monrroy, oltre ad averla fatta edificare a proprie spese, la fornì di rendita ed ottenne da Roma il permesso per potervi celebrare una Messa settimanale nelle domeniche ed in tutte le festività di precetto, dando al sacerdote celebrante la giusta elemosina a tale scopo. Volle che servisse ad uso pubblico e che la prima Messa vi fosse celebrata il 15 agosto dell'anno 1661.
Nel suo testamento, rogato dal notaio Erasmo Baccarella il 28 gennaio 1668, lasciò un capitale di 200 ducati per l'ampliamento della cappella e per l'acquisto degli arredi sacri. Volle che vi fosse istituita una Cappellania con l'obbligo di affidarla ad un sacerdote spagnolo o di origine spagnola, e qualora anche questo mancasse, vi si supplisse con un prete qualunque, salvo a concedere definitivamente la nomina quando il candidato si presentasse. Volle altresì che la nomina venisse fatta dal comandante militare della fortezza. Le sue volontà furono a lungo rispettate.
Il Governatore Monrroy morì il 4 febbraio 1668 in età di 57 anni e fu sepolto sotto la chiesa di S. Francesco, che gli Spagnoli chiamavano di S. Giacomo. Quando, nel 1809, questa chiesa fu distrutta, la bella lapide che copriva il sepolcro del Governatore venne recuperata tra le macerie e murata nella parete destra della Chiesa della Natività o dell'Ulivo, dove ancora oggi è visibile.