Panamerikanska spelens historia kan dateras tillbaka till olympiska sommarspelen 1932 i Los Angeles, Kalifornien, USA, där man började diskutera ett panamerikanskt sportevenemang. Under den panamerikanska utställningen 1937 i Dallas, Texas, USA hölls ett begränsat sportprogram med bland annat friidrott, boxning och brottning, vilket blev en stor framgång, och ett panamerikansk olympiskt möte hölls. På den panamerikanska sportkonferensen 1940 beslutades att de första spelen skulle hållas 1942 i Buenos Aires, Argentina, men de sköts upp på grund av andra världskriget. En andra konferens hölls 1948, där man beslutade att hålla de första spelen 1951 i Buenos Aires.