З 1980 па 1983 год Тон гуляў за юнацкую каманду «Шальке 04». 24 жніўня 1984 года ён дэбютаваў у дарослай камандзе, у матчы з мёнхенгладбахскай «Барусіяй». Олаф гуляў за «Шальке» на працягу пяці сезонаў, пасля чаго перайшоў у «Баварыю». У складзе мюнхенцаў ён стаў трохразовым чэмпіёнам Германіі. Усяго за «Баварыю» Тон правёў 11 сезонаў, пасля чаго вярнуўся ў «Шальке», з якім змог выйграць у 1997 годзе і свой першы еўракубак — Кубак УЕФА. У 2002 годзе Тон завяршыў кар’еру.
Тон згуляў у складзе зборнай Германіі на трох чэмпіянатах свету, у тым ліку і ў пераможным для немцаў чэмпіянаце 1990 года, а таксама на чэмпіянаце Еўропы 1988. У перыяд з 1990 па 1998 год Тон рэдка гуляў за зборную, з-за рознагалоссяў з галоўным трэнерам Берці Фогтсам.