Una gran vil·lagal·loromana ocupava el lloc del palau durant els segles vi i vii, i més tard es convertí en un palau carolingi. El primer ús documentat del nom data de l'any 1131 i prové de la planta de l'edifici que recorda la lletra tau de l'alfabet grec. La major part del primer edifici ha desaparegut: la part més antiga que es conserva és la capella que data de l'any 1207. L'edifici fou àmpliament reformat en estil gòtic entre 1498 i 1509, i modificat fins a adquirir el seu aspecte actual d'estil barroc entre 1671 i 1710 per Jules Hardouin-Mansart i Robert de Cotte. Resultà danyat per un incendi el 19 de setembre de 1914 i no fou reparat fins després de la Segona Guerra Mundial.
Era la residència on vivien els reis en ocasió de la seva coronació. El rei es vestia per a la coronació en el palau abans de sortir cap a la catedral i després se celebrava un banquet al palau. El primer banquet de coronació documentat celebrat al palau fou el de 990 i l'últim el de 1825. La salle du Tau, on se celebraven els banquets reials, alberga una immensa llar de foc que data del segle xv.
Des de 1972, el palau de Tau és un museu nacional anomenat Musée de l'Œuvre que mostra escultures i tapissos de la catedral i, en dues cambres acuirassades, el Tresor que inclou reliquiaris i nombrosos objectes utilitzats durant la consagració dels reis de França. Entre aquests reliquiaris, hi ha el talismà de Carlemany, regal del califa Harun ar-Raixid. Aquesta joia en or, maragda, perles i safirs conté una espina de la Creu i fou trobada al coll de l'emperador en exhumar-ne el cos el 1166.
