robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
Google検索暗号化の影響は？ キーワード"not provided"割合が約40%まで増加 - Optify調査 検索キーワードの"not provided"問題から1年が経過。解析レポートに記録される not provided はどこまで増加しただろうか。米デジタルマーケティングのOptifyが、Googleオーガニック検索トラフィックのキーワード情報として not provided が記録される割合について調査結果を発表した。 公開日時：2012年11月16日 00:00 米Optifyは2012年11月13日、米Googleオーガニック検索から来訪してきた検索利用者のキーワード情報のうち、ウェブ解析ツール等に"not provided" と記録される割合に関する調査結果を発表した。 ご存じのない方のために説明すると、米Googleは2011年10月に、米国版検索サイト（www.g
米Google、パンダ・アップデート3.5を実施 (2012/04/19) グーグルがコンテンツ品質評価の検索ランキング更新、パンダアップデートを実施、通算13回目、3.5。 公開日時：2012年04月26日 17:53 米GoogleのMatt Cutts氏は2012年4月26日、高品質なコンテンツを適切に評価するための一連の検索アルゴリズム変更・「パンダ・アップデート」（Panda Update）を4月19日に実施したことをTwitterで発表した。 パンダ・アップデートは内容が薄っぺらな、低品質なコンテンツを検出するフィルタリングの機能を持つ。多くのコンピューティング・パワーを要することから常時実行されるのではなく、一定周期間隔で都度フィルタリングが実行されており、今回が通算13回目。便宜的に業界では 3.5 というナンバーをつけている。前回のパンダアップデート3.4は2012年3月
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
