1949 begann Fitch mit dem Motorsport. Er hatte sich längst einen Namen in der SCCA-Sportwagenserie gemacht, als er 1951 sein erstes Rennen außerhalb der USA fuhr. Auf einem Allard-Cadillac gewann er den Peron-Grand-Prix in Buenos Aires. Dieser Erfolg brachte ihm einen Vertrag beim Rennfahrer und Rennstallbesitzer Briggs Cunningham ein. Cunningham, ein reicher Unternehmer, der Ende der 1940er-Jahre ein Rennteam aufgebaut hatte, versuchte mit einigem finanziellen Aufwand die 24 Stunden von Le Mans zu gewinnen. 1953 erreichte Fitch in Le Mans mit Phil Walters als Partner den dritten Gesamtrang. Das Fahrzeug war ein Cunningham C5-R. Im selben Jahr gewann er, wieder mit Walters als Partner, die 12 Stunden von Sebring. 1953 fuhr Fitch auch den ersten seiner zwei Formel-1-Grand-Prix. Beim Großen Preis von Italien in Monza pilotierte er einen Werks-HWM, musste das Rennen nach einem Motorschaden aber frühzeitig aufgeben.
Schon 1952 hatte Fitch einen Mercedes-Benz 300 SL getestet und 1955 unterbreitete ihm Alfred Neubauer einen Werksvertrag. Fitch wurde Ersatzpilot für die Formel-1-Fahrer, kam aber dort nie zum Einsatz. In Le Mans war er Copilot von Pierre Levegh und damit indirekt an der größten Katastrophe des Motorsports beteiligt. Vor dem Rückzug der Stuttgarter aus der internationalen Motorsportszene gewann er mit Stirling Moss das Sportwagenrennen in Dundrod. Für das Privatteam von Moss bestritt er mit dessen Maserati 250F auch den Großen Preis von Italien 1955 und wurde mit vier Runden Rückstand auf den Sieger Juan Manuel Fangio Neunter.
1956 kehrte Fitch in die USA zurück und wurde Werksfahrer bei Chevrolet. Da die Werkseinsätze des US-Autokonzerns beschränkt waren, wurde es ruhig um den Amerikaner, allerdings war er bis 1964 jedes Jahr bei den 12 Stunden von Sebring am Start. Nach dem Ende seiner aktiven Karriere arbeitete Fitch im Management von Rennstreckenbetreibern und setzte sich für die Verbesserung der Sicherheit im Automobilrennsport ein.