Olympique de Marseille grundades 1892 av René Dufaure de Montmirail, och namnet antogs 1899. I början var den största sporten rugby. 1902 började fotboll spelas i klubben. Under 1920-talet blev Olympique de Marseille ett av de bättre fotbollslagen i Frankrike och vann franska cupen 1924, 1926 och 1927. 1929 följde den första franska mästerskapstiteln.
Marseille-anfallaren Gunnar Andersson blev skytteligavinnare 1952 med 31 gjorde mål. 1959 åkte Marseille ur förstaligan. Förutom en ettårig sejour förblev Marseille i andraligan fram till 1965.
1969 blev Marseille franska cupmästare, 1971 blev klubben franska ligamästare och 1972 vann klubben en så kallad dubbel med seger både i cupen och ligan. Bland lagets största stjärnor fanns svensken Roger Magnusson och jugoslaven Josip Skoblar. Skoblar gjorde säsongen 1970/1971 44 mål, vilket fortfarande är rekord i högsta divisionen (nuvarande Ligue 1) i Frankrike.
Olympique Marseille tog klubbens första internationella titel 1993 genom att vinna Uefa Champions League, efter finalseger mot Milan, vilket gjort Marseille till ensamt franskt klubblag som vunnit denna liga. Segern skulle dock följas av en stor mutskandal med Marseilles klubbdirektör Bernard Tapie i centrum. Kända spelare under perioden 1989–1993 var Jean-Pierre Papin, Chris Waddle, Abedi Pelé, Enzo Francescoli och Dragan Stojković.
Marseille kom tillbaka efter skandalen och slutade tvåa i franska ligan 1999 efter Girondins Bordeaux. 2004 nådde laget finalen i Uefa-cupen men förlorade mot Valencia i Göteborg. 2007 blev laget återigen tvåa i franska ligan och kunde via tredjeplatsen 2008 återigen delta i Champions League. 2010 blev Marseille franska mästare och vann även franska ligacupen och Trophée des Champions.