Delvigne begon zijn carrière bij SC Éghezée. In 1969 haalde RSC Anderlecht hem op vijftienjarige leeftijd naar de hoofdstad. Drie jaar later stroomde hij door naar de A-kern. In zijn eerste seizoen speelde hij slechts twee wedstrijden in het eerste elftal, waaronder de finale van de Beker van België tegen Standard Luik. Door de 2-1-winst van Anderlecht mocht Delvigne meteen een eerste prijs op zijn palmares schrijven. In het seizoen 1973/74 werd Delvigne kampioen met Anderlecht, al kwam hij dat seizoen wel maar een wedstrijd in actie in de competitie.[1]