Con la caduta dell'Impero Romano d'Occidente, Taranto si avviò verso un periodo di decadenza lungo ed inesorabile, causato anche dallo sviluppo progressivo del porto di Brindisi. La popolazione assistette all'avvicendarsi dei Goti, dei Bizantini e dei Longobardi: Belisario la occupò e la ripopolò, ma Totila con i suoi Goti la riconquistò, lasciandovi un forte presidio.

Il generale greco Narsete, successore di Belisario, sconfisse Totila e la rifece bizantina. Poi, nel 568 calarono i Longobardi, che la conquistarono nella prima parte del secolo successivo.

Nella primavera del 663 il basileus Costante II Eraclio sbarcò a Taranto e strappò ai Longobardi la città, le Murge, il Salento e il Gargano. Tornato l'Imperatore a Costantinopoli, i Longobardi ripresero la lotta, prima col duca Grimoaldo, e poi con il di lui figlio Garibaldo, che nel 686 riconquistò Taranto e Brindisi. Attorno all'anno 700 iniziarono le scorrerie dei Berberi, che dureranno ben oltre l'anno 1000.

L'inizio del IX secolo fu caratterizzato dalle lotte interne a quanto restava del potere dei Longobardi, che, nel frattempo erano stati annientati dai Franchi. Nell'840 un principe longobardo di Benevento fu tenuto prigioniero a Taranto, ma alcuni suoi sostenitori lo liberarono, lo riportarono a Benevento e lo proclamarono principe. Nel frattempo i Saraceni riuscirono ad assumere il controllo della città, istituendovi un emirato, che durò un quarantennio, e trasformandola in un'importante base navale e militare dalla cui partivano frequentemente navi cariche di prigionieri, destinati al mercato degli schiavi. Nell'850 quattro colonne saracene partirono da Taranto e Bari per razziare Calabria, Campania, Puglia, Molise e Abruzzo. Ancora, nell'anno 854, sempre da Taranto partì una spedizione guidata da "Abbās ibn Fāid" che saccheggiò la provincia di Salerno. Nell'871, e, successivamente, nell'875, Taranto fece da base alle truppe saracene destinate al saccheggio della Campania e della Puglia.

Nell'880 l'imperatore Basilio I il Macedone, deciso a riprendersi le terre pugliesi, inviò due eserciti guidati dai generali Procopio e Leone Apostyppes ed una flotta al comando dell'ammiraglio Nasar, le cose andranno per il verso giusto: bloccata la via del mare dalla flotta bizantina, i Saraceni al comando di "Othmān" vennero sconfitti e Taranto sottratta al loro dominio.

Tra i primi atti del nuovo governo bizantino del generale Apostyppes vi fu la riduzione in schiavitù di quegli abitanti che si erano convertiti ai costumi islamici e l'accoglienza di coloni greci per ripopolare la città. La città continuava a subire le incursioni saracene: il <15 agosto 927, i musulmani guidati dallo schiavone Sabir, distrussero definitivamente quanto rimaneva dell'antica città greco-romana, infierendo contro i cittadini, massacrandoli senza pietà e deportando come schiavi in Africa tutti i superstiti. I pochi che scamparono alla morte trovarono rifugio sulle Murge.

Nel 967, dopo quarant'anni, l'imperatore bizantino Niceforo II Foca, considerato il secondo fondatore di Taranto, cedendo alle reiterate pressioni dei superstiti, s'interessò alla città e decise di ricostruirla, edificando l'odierno Borgo Antico; in questa operazione sparirono gli ultimi resti della città antica e dell'acropoli, fece colmare il tratto costiero lungo il mar Piccolo per facilitare il lavoro dei pescatori, costruì un ponte su 7 arcate e ricostruì l'antico acquedotto romano su 203 arcate, che proprio attraverso il ponte, convogliava nella città le acque delle vicine Murge.

I pescatori, che avevano abbandonato la città, ripresero fiducia e tornarono a popolare la zona spianata sul mar Piccolo.

Nel 977 Taranto subì un nuovo attacco da parte dei Saraceni, guidati da Abū l-Qāsim ʿAlī che depredò la città e fece numerosi prigionieri, bruciando alcuni quartieri. Nel 982 fu base di partenza dell'esercito imperiale guidato da Ottone II, che venne poi sconfitto dai Saraceni di Abū l-Qāsim ʿAlī nella battaglia di Capo Colonna. Nella tarda primavera del 1042 vi sbarcò Giorgio Maniace, inviato dall'imperatore bizantino Michele V Calafato in un nuovo tentativo di consolidare il suo dominio; il generale riorganizzò le sue truppe prima di ripartire per l'Oriente, dopo aver provato a sottrarre la corona al nuovo imperatore Costantino IX Monomaco.