[レベル：上級] 今日は、X-Robots-Tagの使い方・書き方について説明します。 新しい情報でもなんでもないのですが、調べごとをしていてたまたまX-Robots-Tagに遭遇して、きちんと記事にしていなかったことに気付き忘備録の意味も兼ねて書いておくことにします。 X-Robots-Tagとは、クローラの動きを制御するときに用いるrobots meta タグを、HTMLドキュメントではないコンテンツのHTTPヘッダーに含めるために使う仕組みです。 たとえば、ウェブページを検索結果に表示させたくないときは、noindex robots meta タグを使います。 しかしXMLサイトマップやPDFドキュメントにはmetaタグはありません。 したがってnoindex robots meta タグを記述するとができません。 こんなときに使うのが、X-Robots-Tagです。 XMLサイトマ
