Très tôt, un culte s’organise autour d’une tombe qui abriterait les reliques de saint Victor.
De 750 à 960, l'abbaye est la résidence des évêques de Marseille. Charlemagne lui assure sa protection, accroissant ainsi le contrôle impérial sur les régions du Sud.
Saint-Victor connaît des invasions normandes et sarrasines qui la ruinent entièrement. Honorat II, puis Pons Ier reconstruisent l'abbaye. L'abbé Wilfred la soumet à la règle de Saint-Benoît et continue sa reconstruction pour en faire un lieu prospère, renommé et exemplaire.
En 1020 le moine catalan Isarn entreprend les grands travaux. On lui doit la construction de la première église haute à laquelle appartiendrait la tour dite d’Isarn. Sa promotion de la puissance de l'abbaye est spectaculaire.
C’est à Guillaume de Grimoard, alors abbé de Saint-Victor et futur pape en Avignon sous le nom d’Urbain V, que l’on doit la fortification du monastère. L’ensemble est inclus dans le système de défense du port par son successeur Grégoire XI.
Progressivement la ferveur monastique décroît et amène la sécularisation de l’abbaye en 1739. La Révolution transforme l’église en dépôt à fourrage, prison et caserne. Elle est rendue au culte sous le premier Empire et est restaurée au XIXe siècle. L’église est élevée au rang de basilique mineure en 1934 par le Pape Pie XI.
Chaque année au moment de la Chandeleur un pèlerinage important a lieu : une procession part du Vieux-Port vers Saint-Victor. La Vierge noire conservée dans les cryptes est revêtue de son manteau vert, présentée à la foule massée sur le parvis et bénie par l’archevêque. Il célèbre la messe et se rend ensuite au four des Navettes.