AppleがSiriのWebサイト検索候補に使用する情報を集めるWebクローラー「Applebot」の情報をアップデートしています。詳細は以下から。 Appleはインデックス検索機能「Spotlight」や音声アシスタント「Siri」で表示するWeb検索候補の情報を集めるため、2014年頃から「Googlebot」に似た独自のWebクローラー「Applebot」を開発し、各Webサイトのインデックス化やランキングを行っていますが、 2015年05月 ▶ Apple、SiriやSpotlightのWebサイト検索候補に使用する情報を集めるWeb クローラー「Applebot」の情報を公開。 2018年03月 ▶ Apple、SiriやSpotlightのWebサイト検索候補に使用する情報を集めるWebクローラー「Applebot」のカスタムルールを公開。 Appleは現地時間2020年07月
[レベル: 初級] Googlebotのクロール活動が突然活発になったとしても、それは手動の対策とは関係ありません。 クロール活動と手動対策は無関係 GoogleのJohn Mueller（ジョン・ミューラー）氏が、クロール活動と手動対策の関係について Twitterでフォロワーから質問を受け、回答しました。 [フォロワー] Googlebotの活動が急上昇するのは、ペナルティに対してGoogleがそのサイトを検査している証拠だというのは確かなことですか？ [ミューラー氏] いや、そんなことはない。手動の対策とはクロールは通常は無関係だ。 @AHalliday @methode No, crawling is generally independent of manual actions. — John Mueller (@JohnMu) 2016年4月29日 Googlebotのクロール
Apple のウェブクローラ「Applebot」の存在が確認される アップルのウェブクローラ「Applebot」に関する説明ページが公開される。 公開日時：2015年05月07日 02:45 Barry Schwartz氏が Search Engine Land でかねてから噂されていた Apple のクローラの存在が確認できたことを報じている。 Apple が公式に公開しているウェブページによると、Applebot は同社のパーソナルアシスタント Siri や 同社のコンテンツ検索技術基盤である Spotlight といった製品開発のために利用されているクローラ。通常のクローラと同様に robots.txt や robots meta tag に記述されたルールに従う。User-Agent名は次の通りだ。 Mozilla/5.0 (Macintosh; Intel Mac OS X 10
Google、「地域分散クロール」と「言語依存クロール」を開始 Google、同じURLで異なるコンテンツをアクセス元や使用言語に基づいて切替る地域対応ページ（Local-Adaptive Pages）のインデックス登録処理を行うために、地域認識クロールを導入。 公開日時：2015年01月29日 00:23 米Google は2015年1月28日、同じURLながら検出したユーザーの来訪国や使用言語に基づいて異なるコンテンツを返すウェブページ（地域対応ページ、 Locale-Adaptive Pages）のインデックス登録を改善するために、地域認識クロールを導入することを公式ブログで発表した。 全ての国・言語版のウェブページがインデックスされない問題 Googlebot が一般的に利用するIPアドレスは米国と判定されるうえ、クローラは HTTPリクエストヘッダーに Accept-Langua
小ネタ：更新頻度とインデックス完了所要時間の関係 毎日更新続けていた頃の方が、Googleがインデックス完了するまでの時間は圧倒的に短い。 公開日時：2013年12月03日 05:03 小ネタシリーズ。これは講演などではよく紹介するのですが、当サイト（www.sem-r.com）は2003年夏から開始して以来、2008年くらいまで？はほぼ毎日更新していたものの、だんだんおろそかになり今は時折不定期更新になっております。 ただ、更新をサボっていてもデータだけはきちんと取得しており、サイトの更新頻度とGoogleのクローリングの関係は調査をしています。記事を初めてインターネットに公開してから、検索結果に表示されるようになるまでどの程度の時間を要するのか -- (a) 毎日更新を1年以上継続していた時期、(b) 6ヶ月以上継続していた時期、(c) （1ヶ月ほど更新さぼり）久しぶりに更新を開始して
MS Bingもユーザエクスペリエンス重視へ、CSSやJavaScriptのクロール許可を推奨 米Microsoft の検索エンジン・Bing もモバイルサイトをレンダリングに基づいて評価する仕組みを採用。BingPreview 文字列を含む新しいクローラが追加されるほか、ウェブページのレンダリングに関わるファイルへのアクセスを求める。 公開日時：2014年11月05日 02:13 米Microsoftの検索エンジン・Bing は2014年11月3日、モバイルWebサイトのユーザーエクスペリエンスを適切に評価するために、新しい Bingbot を導入すると公式ブログで発表した。Bing クロールチームの Lee Xiong氏が詳細を説明している。 モバイルにおけるユーザーエクスペリエンスの診断が目的 Bing チームは従来から、モバイルサイトは m- などの別 URL/別サイト構成ではなく
LinkedIn アカウントを開設しました: Google 検索でサイトを見つけやすくするためのニュースやリソースについては、LinkedIn アカウントをフォローしてください。 ホスティングの変更 このガイドでは、サイトのホスティング インフラストラクチャを変更する際に、Google 検索でのパフォーマンスへの影響を最小限に抑える方法について説明します。ホスティング インフラストラクチャの変更とは、ホスティング プロバイダの切り替えや、コンテンツ配信ネットワーク（CDN）への移行のことです。このガイドでは、ユーザーに表示される URL には影響を与えない移転のみを対象としています。 概要 新しいホスティング インフラストラクチャを準備する。 コンテンツを新しいサーバーにアップロードしたり、CDN サーバーと元のサーバーを設定してテストしたりします。 サイト移転を開始する。ドメイン名の D
【速報版】Google、スマホ/携帯向けGooglebot User-Agentを変更 - スマホはGooglebotに グーグルが Google-bot の名称を整理。スマホ向けクローラ User-Agent 「Googlebot-Mobile」 文字列を廃止し、PC及びスマホは 「googlebot」に一本化。 公開日時：2014年01月23日 23:38 米Googleは2014年1月23日、ウェブを巡回するクローラの User-Agent を整理してウェブマスターが制御しやすいように改めることを公式ブログで発表した。従来、スマホ用クローラと呼ばれていた"Googlebot-Mobile" for smartphones が『引退』し、通常クローラの User-Agent 同様に "Googlebot" に変更される。 スマホ向け Googlebot User-Agent 文字列を変
+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1
[対象: 全員] Googleウェブマスターツールで「サイトエラー」の警告が頻発しているときは急いで解決しないと検索結果から消滅することがあります。 DNSエラーが多発してそれを放置しておくとインデックスから消えることをしばらく前に説明したことがあります。 しかしDNSエラーに限らず、サイトエラーの状態が長引くとサイトのクロールやインデックス、結果として検索結果に悪影響が出てきます。 Google社員による注意喚起 英語版の公式ヘルプフォーラムで、Google社員のJohn Mueller（John Mueller）氏が次のようにコメントしています。 一般的には、「Googlebotがサイトにアクセスできません」のメッセージは、いつまでも続いているときは特に重大な問題だ。 コンテンツをまったくクロールできない「robots.txt にアクセスできません」と同じようなものだ。robots.t
The Apache Nutch PMCは7日(米国時間)、Apache Nutchの最新版「Apache Nutch 2.0」を公開した。Apache Nutchは、Javaで開発されているハイスケラーブルなWeb検索フレームワーク。Apache Solr、Apache Tika、Apache Hadoop、Apache GoraといったApacheプロジェクトで構築されており、Webクローリング機能やリンクグラフデータベース、HTML解析といった機能を備えている。 Apache Nutch 2.0は小規模なクローラから、Hadoopクラスターでデプロイされた大規模なWebクローラまで、様々なユースケースをカバーできるよう設計されているWeb検索ソフトウェア。Apache Nutch 2.0で構築されたWebクローラは、Apache Accumulo、 Apache Avro、Apach
このブログのMTに、あるいはTumblrにもOGP設定してみたわけですが、ある環境でOGPがうまく反映されないケースがあったので紹介します。 OGPのタグについては、Open Graph protocol – Facebook開発者などを参考にしながら正しいコードが出力されていることを確認しているのに、URLリンターでチェックしてみると、設定した情報が全く反映されていないという事例がありました。URLリンターに反映されないので当然「いいね！」などを押しても想定した画像がサムネイルにならないなどしばらくハマってしまいました。 で、改めて色々調べたのですが、Facebookで「いいね！」したときやURLリンターでチェックしたときは、Facebookのクローラー（スクレイパー？）が対象のURLにアクセスしてきて情報を持っていく仕組みになっています。サーバのアクセスログを閲覧できるのであればログの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
