Probst begon zijn profcarrière in 1945, net na de Tweede Wereldoorlog bij Admira Wien. Na een jaar bij First Vienna ging hij van 1950 tot 1956 voor Rapid Wien spelen en won er vier keer de landstitel mee en werd twee keer vicekampioen. In 1951 werd hij samen met Robert Dienst tospchutter van de competitie. In 1951 had hij ook een groot aandeel in de winst in de Centropa Cup. In 1956 ging hij voor het Duitse Wuppertaler SV spelen en bleef daar twee jaar. Na nog een seizoen bij het Zwitserse FC Zürich ging hij voor Austria Salzburg spelen. Na nog een jaar bij SAK beëindigde hij zijn carrière bij First Vienna.
Probst begon zijn interlandcarrière in 1951 tegen Schotland. Bij de WK-kwalificatie scoorde hij in 1953 maar liefst vijf doelpunten en een loepzuivere hattrick in de 9-1 overwinning tegen Portugal. Op het WK in Zwitserland scoorde hij de enige treffer in de eerste wedstrijd tegen Schotland. De tweede wedstrijd, tegen Tsjecho-Slowakije werd met 5-0 gewonnen en scoorde hij op twintig minuten drie keer. In de kwartfinale werd gastland Zwitserland getroffen. Na amper twintig minuten stond het al 0-3 voor de Zwitsers, maar in zeven minuten tijd boog Oostenrijk de 0-3 om naar een 5-3, uiteindelijk werd het 7-5, waarvan Probst het laatste doelpunt maakte. In de halve finale verloor Oostenrijk zwaar met 6-1 van West-Duitsland, maar kon wel de eerredder maken. Aan het einde van het toernooi had enkel de Hongaar Sándor Kocsis vaker gescoord, elf keer. Tot 1955 speelde hij nog enkele keren voor het nationale elftal, maar door zijn passages bij Wuppertal en Zürich werd hij daarna niet meer opgeroepen voor de nationale ploeg. Na zijn terugkeer in Oostenrijk werd hij in 1960 nog een keer opgeroepen voor een wedstrijd tegen Frankrijk en scoorde zelfs in zijn laatste wedstrijd.
.svg){kind=small}
