Krumpe speelde 25 interlands voor de nationale ploeg van de Verenigde Staten (1986-1991) en scoorde gedurende die periode één keer voor Team USA. Hij maakte zijn debuut op 5 februari1986 in een vriendschappelijke wedstrijd tegen Canada (0-0) in Miami. Krumpe nam onder meer deel aan het WK voetbal in 1990.