Parilli fu scelto come quarto assoluto nel Draft NFL 1952 dai Green Bay Packers[2]. Dopo aver giocato per Packers e Cleveland Browns nella National Football League e un anno nella Canadian Football League con gli Ottawa Rough Riders, Parilli firmò con gli Oakland Raiders della neonata American Football League il 17 agosto 1960, dove passò solamente più di mille yard.
Il 4 aprile 1961, fu scambiato coi Boston Patriots della AFL, diventando uno dei giocatori più produttivi della lega. Giocando coi Patriots dal 1961 al 1966, Parilli terminò la carriera guadagnando oltre 25.000 yard e passando oltre 200 touchdown, finendo tra i primi cinque quarterback in 23 categorie. Parilli fu convocato per tre volte all'All-Star Game della AFL. Nel 1964, lanciando principalmente per Gino Cappelletti, Parilli passò quasi 3.500 yard e 31 touchdown; quest'ultima cifra rimase il record di franchigia dei Patriots fino al 2007, quando fu superato da Tom Brady. Il 16 ottobre di quella stagione contro gli Oakland Raiders, Babe passò 422 yard e touchdown nel pareggio 43-43.
Parilli terminò la carriera con i New York Jets, dove conquistò un anello come riserva di Joe Namath nel Super Bowl III, quando i Jets batterono a sorpresa i Baltimore Colts per 16-7[3]. Casualmente, entrambi i due quarterback dei Jets provenivano da Beaver County, Pennsylvania, con Parilli originario di Rochester e Namath della vicina Beaver Falls ed entrambi giocarono per il famoso allenatore "Bear" Bryant al college.