ニューヨーク市のブロンクス出身。アメリカ大統領のウィリアム・ハワード・タフトにちなんで名づけられた。少年時代からヴァイオリンやバンジョーを弾き始めるが、当初は野球に情熱が注がれた。ハイスクール時代にダンス・バンドを結成し、自らはベース奏者として結婚式などで演奏した。 1928年にニューヨーク大学商学部に入学すると同時に、広告業界で働き始める。この頃は、親しい友人のE.B.マークス・ジュニアらの作詞家とともに、ポピュラー音楽の作曲に手を染めている。 1930年4月4日に実姉オードリーとともにカーネギー・ホールにおいて、アルトゥーロ・トスカニーニ指揮によるニューヨーク・フィルハーモニックの演奏会を聴いて深い感銘を受けるとともに、職業作曲家への転身を決意する。大学を中退し、個人教師について作曲を学び始める。指導者の一人にロイ・ハリスがおり、その引き合わせでセルゲイ・クーセヴィツキーの知遇を得る。