A causa delle costanti minacce portate dai Turchi e dai Veneziani, gli Aragonesi decisero di fortificare la città, costruendo il Castello Aragonese ed il suo fossato. Nel 1495, Carlo VIII di Francia costringe alla fuga le truppe aragonesi, entrando senza difficoltà in città e impadronendosi del castello. Ma nel mese di ottobre dello stesso anno, Cesare d'Aragona mette sotto assedio Taranto per circa un anno e mezzo, costringendo questa volta i francesi alla resa. Per riconquistare il consenso del popolo tarantino furono concessi alcuni benefici, e la stessa Regina Isabella di Taranto partecipò ai sontuosi festeggiamenti organizzati nel castello ed in città.

Il 10 agosto 1497 venne incoronato re di Napoli Federico I, ma la ripresa delle ostilità da parte di Ferdinando II d'Aragona e di Luigi XII di Francia, forti del Trattato di Granada stipulato segretamente tra spagnoli e francesi ai danni degli Aragonesi l'11 novembre 1500, lo videro costretto a fuggire in Francia nel settembre del 1501, lasciando le responsabilità del regno al figlio appena dodicenne Ferdinando, principe vicario e duca di Calabria. Il 1º marzo 1502, nonostante il tentativo di organizzare una difesa dal castello della città, questi dovette cedere all'assedio degli uomini capitanati dal generale Consalvo di Cordova il Gran Capitano, che guidò l'invasione del regno dal sud della penisola dopo aver superato le resistenze degli Aragonesi in Calabria e nella Lucania. La popolazione si arrese a condizione di lasciar libero il giovane Principe aragonese, ma gli spagnoli non tennero fede al giuramento fatto sull'Ostia consacrata e lo mandarono invece prigioniero in Spagna, ospite forzato di Ferdinando II d'Aragona.

Con la perdita dell'indipendenza del Regno di Napoli, Taranto seguì le sorti di tutta l'Italia Meridionale, cadendo sotto il dominio spagnolo e diventando città demaniale. Nonostante la mancanza di fondi, si decise di fortificare la città, mentre lungo tutta la costa del mar Grande si costruirono numerose torri costiere di avvistamento.

Il pericolo rappresentato dai Turchi infatti, non cessò mai di venir meno: per circa sei mesi nel 1594, essi stazionarono indisturbati sulle Isole Cheradi nel golfo di Taranto, e approfittando della momentanea debolezza degli Spagnoli, tentarono più volte di attaccare il castello, ma furono prima respinti e poi definitivamente sconfitti dal popolo tarantino nei pressi del fiume Tara.

Agli inizi del seicento, la situazione economica della città si aggrava inesorabilmente: Taranto non costituisce più una base militare importante, e le stagnanti attività della pesca e della mitilicultura, nonché l'attività agricola nelle mani della nobiltà e del clero, determinarono una grave crisi economica che culminò nell'insurrezione popolare del 1647. In concomitanza con i moti di Napoli, il re Filippo IV pretese l'arruolamento dei giovani di circa 18 anni. Scoppiò allora anche a Taranto una rivolta popolare guidata da Giandonato Altamura, sedata grazie all'intervento del duca Francesco II Caracciolo di Martina Franca, al quale gli spagnoli avevano chiesto aiuto: il Caracciolo fece finta di attaccare Taranto dalla parte del Ponte di Porta Napoli, ma la maggior parte del suo esercito attraversò il Castello Aragonese dalla parte opposta, attraverso la "Porta Paterna" aperta dagli Spagnoli, e poté così sorprendere il popolo in rivolta alle spalle. Altamura si arrese e fu condannato all'impiccagione su un torrione del castello.

Dalla seconda metà del secolo, la Spagna comincia ad interessarsi maggiormente alle sue colonie dell'America centro-meridionale dalle quali ricavava oro e argento, tralasciando invece quelle del Mediterraneo.

Agli inizi del settecento, con l’arrivo a Napoli degli Austriaci, i Tarantini accolsero con entusiasmo la notizia dell'insediamento degli Asburgo presso il castello. Tuttavia nel 1734, gli Spagnoli rioccuparono Napoli con Carlo III, ed il Sindaco di Taranto venne nominato Regio Governatore e Castellano.

In quegli anni le fortificazioni della città sono in completo stato di abbandono: solo infatti nel 1755 si cominciò a riparare il Castello Aragonese, mentre nel fossato che si estendeva dalla Torre Sant'Angelo alla Torre della Bandiera, si realizzò un giardino con alberi da frutto. Qualche anno dopo, il nuovo Arcivescovo di Taranto Monsignor Giuseppe Capecelatro, cominciò a raccogliere presso la sua villa i numerosi reperti archeologici sparsi per la città, tentando così di fondare un primo museo. Passata successivamente ai Borboni e incorporata nel Regno delle Due Sicilie, Taranto aderì nel 1799 alla Repubblica Partenopea, fino al ritorno al potere del Re di Napoli Ferdinando IV.