Gravina può vantare una storia antichissima. Il suo territorio risulta essere stato abitato già dal Paleolitico antico, data l'alta presenza di acque nel torrente della Gravina, mentre i resti più consistenti risalgono al Neolitico, sin dal 5950 avanti Cristo. Gli insediamenti più antichi sono stati individuati nelle contrade di Botromagno, S.Paolo, Vagnari, S.Stefano e S.Staso, mentre i toponimi Sidis, Sìlbion Sidìon, Silvium, Petramagna o Botromagno (nome della collina dove si è sviluppato l'antico abitato).
La città subì la colonizzazione peuceta, prima, e greca, poi. In seguito, la conquista romana, come confermato anche dagli evidenti scavi archeologici, le necropoli, i relativi corredi funerari. il ponte del 700 ecc.
Prima influenzata dai Greci, poi occupata da Roma, fu facile preda dei visigoti di Alarico e dei vandali di Genserico nel V secolo a.C. Distrutto il centro abitato, uno sulla pianura di Botromagno e l'altro sul ciglio del burrone, la popolazione si trasferì nel sottostante burrone, dove alle grotte preesistenti aggiunsero altre abitazioni.
Con la caduta dell'Impero Romano d'Occidente, seguì le vicende dell'intera Italia, passata attraverso l'effimero dominio dell'erulo Odoacre, il regno goto e, infine, all'inizio del V secolo, la riconquista dell'Impero ad opera di Giustiniano. Durante lo stesso secolo fu inglobata nel dominio dei nuovi invasori Longobardi, sino all'avvento dei Normanni. Intorno al 1006 fu contea con Accardo, padre di Umfrido. Questi nel 1091 ricostituì la diocesi e consentì la costruzione della cattedrale presso il castello, sul ciglio della "Gravina" tra i rioni, Piaggio e Fondovico.