（訳者注: 検定手法について、この記事には一部内容が古い部分があります。Optimizelyは現在、両側検定を採用し、独自開発したより精度の高い統計手法(Stats Engine)でテスト結果を表示しています。Stats Engineに関する記事: 日本語 ・ 英語 ） 私たちがSumAllでA/Bテストを一斉にスタートさせて6ヶ月が経ち、あまりよくない結末を迎えました。それは勝算があるとした結果のほとんどが新規ユーザーの獲得改善にはつながらなかったことです。それどころか、私たちは失敗したのです。そして私の一番の責任はユーザー獲得の増加であるということを考えると、本当に最悪の状況でした。私にとっても、私のキャリアにとっても、そしてSumAllにとっても。 過去に A/BテストとWebサイト･パーソナライゼーションの会社 に勤めていた経験から（はっきり言うとMonetateはOptimize
「来月末までに登録数を2倍に！」 一見無理そうなこの目標に挑んだのは株式会社リブセンスの転職会議運営チーム。 “40日間”という限られた期間の中で多額のプロモーション費をかけるわけではなく、A/Bテストを中心としたサイトの改善を徹底的に回し続け、短期間で登録数を向上させることに成功しました。 今回はディレクターとしてこのプロジェクトを牽引されていた黒澤氏に伺った、数多くのA/Bテストを実施し、成果を出すために大切なKPIやテスト設計の考え方を紹介します。 （写真の右から4番目がお話を伺った黒澤氏） ■なお今回の事例記事は全3回にわけて紹介します 【前編】効果的なKPIとテスト設計のコツ（本稿） 【中編】実践A/Bテストケーススタディ（後日公開予定） 【後編】チーム・文化作りのポイント（後日公開予定） 圧倒的なスピードでテストを回すためのKPI・テスト設計 『来月末までに残された日数は4
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
今回はweb業界でよく行われているA/Bテストについて記事にします。 参考書はこれです。参考にはしましたが、A/Bテストについては1ページくらいしか書いてありませんのであしからず。 PROFESSIONAL アクセス解析 作者: 衣袋宏美出版社/メーカー: 技術評論社発売日: 2011/04/13メディア: 大型本購入: 4人 クリック: 418回この商品を含むブログ (5件) を見る ※今回はサイトのレイアウトと言う意味の「デザイン」とランダム化比較試験の「デザイン」の両方が出てきますが、混乱されないようお気を付け下さい。。。 Google Website Optimizerで、サイトの最適デザインを調べることができます。A/BテストはデザインAまたはBのサイトをランダムに表示し、どちらのサイトデザインが「統計的に有意」であるかを検定するサービスのようです。多変量テストの場合はサイトデザ
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
多変量テストとは A/Bテストはその名の通りAかBの2パターンをテストしてより良い方を決めるというものですが、似たようなテストに「多変量テスト」があります。これまた文字通り2パターンではなく複数の要素をテストしてより良いものを決める、というものです。 もう少し深堀りすると、テストをする要素の数がA/Bテストに比べて増えるだけではなく、各要素がどのように影響しあっているか、というところまでを明らかにしようとする手法です。 多変量テストの目的は「どのような要素の組み合わせがより効果的なのか」を測定することですが、それだけではなく「ユーザーに対して、どの要素が潜在的に良い（もしくは悪い）影響を与えているのか」というところも明らかにします。 多変量テストがよく使われるケース 最もよく多変量テストが使われるケースとしては、例えばキャッチコピーやエントリーフォーム、フッターなどサイトに載せる要素が複数
こんにちは! 今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。 まずはA/Bテストです。二匹の猫がいて（猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。 今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。 猫Aの大きな勝利です！ ただし、このA/Bテストには二つの課題があります。 猫は二匹しか存在しないので 1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。 2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから？ベロが出ているから？目が黒いから？その猫が勝っている要因は闇の中です。 そこで「多変量テスト」の登場です。方法はほ
データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質
39. 実際の使用イメージ 試行数 アーム1期待値 アーム2期待値 アーム3期待値 活用or探索 0(0/0) 0(0/0) 1 1(1/1) 0(0/0) 2 1(1/1) 0(0/1) 3 1(1/1) 0(0/1) 4 1(2/2) 0(0/1) 5 1(2/2) 0.5(1/2) 6 1(2/2) 0.5(1/2) 7 8 0.66(2/3) 0.5(1/2) 9 0.5(2/4) 0.5(1/2) 10 0.4(2/5) 0.5(1/2) 0(0/0) 0(0/0) 0(0/0) 0(0/1) 0(0/0) 0(0/0) 0(0/2) 0(0/2) 0(0/2) 0(0/2) ・・・最も期待値の高いアーム 39 探索 探索 探索 探索 探索 探索 活用 活用 活用 活用 ランダム選択 引くアーム 結果 1 2 3 1 2 3 - アーム1 アーム2 アーム3 アーム1 アーム2
vanityとchankoを使ってRailsで簡単安全にABテストをする
vanityはRailsのABテスト用ライブラリ。導入が一番簡単っぽい。 元々はテキストとか画像をのABテストを行うためのもののようだが、 chankoという限定公開用のライブラリを使って、機能単位でもABテストができるようにしてみる。 まずはGemfileに gem 'chanko', :git => 'git://github.com/cookpad/chanko.git' gem "vanity" を記述して、 # bundle install それぞれに必要な初期設定をする。 # rails generate chanko:install # rails generate vanity # rake db:migrate config/vanity.ymlを作成 development: adapter: active_record active_record_adapter: m
SEO屋の私がいうのもなんですが、サイトのコンバージョンを最も劇的に改善する手法といえばLPO。LPOサービスを自ら始めた位に惚れ込んでいるウェブマーケティング手法ですが、名前や内容は知っていても意外とちゃんと実施したことがないサイトやウェブマーケッターが未だに多すぎることに嘆いている最近です。多変量テストや行動ターゲティングとはいわずとも、A/Bテスト位は定期的にやっていきましょうよ、、ということで、今回は米国カリスマウェブマーケッターのニール・パテル氏が自らの経験を元にA/Bテストで実施するべき項目を11まとめた面白くてためになる記事を。 — SEO Japan 既存のトラフィックからもっとお金を絞り取りたいのなら、A/Bテストの実施を開始する必要がある。少なくとも毎月10,000人のビジターがいるなら、毎月でないにしろふた月に一度は一つ新しいA/Bテストを実施することを検討すべきだ。
A/BテストがWebサービスを開発する上で非常に重要な手法であるということは、GoogleやFacebook、Twitterといった有名企業がこのような手法の効果を公開したことで我々一般人にも認識されてきました。 ですが、現在日本のサービスの実践結果はあまり共有されていません。競合サービスに情報を知られたくない、共有する意味がないなど様々な理由が考えられますが、これでは日本のWebサービスのレベルは上がらないでしょう。 そこで、我々masturbate.jpは惜しみなく実践結果を共有し、エロサイトだけでなく全てのWeb人達のスキルアップ・ノウハウの蓄積に貢献したいと考えております。 今回はmasturbate.jpのサインアップページで行ったA/Bテストを基に我々が学んだことを共有しましょう。 まず、masturbate.jpをご存知ないかたに説明すると、masturbate.jpはPin
「A/Bテスト信頼度判定ツール」は、A/Bテストで得られたデータについて「結果に有意な差が出ているか」「誤差なのか」を簡易的に判定するためのツールです。 この「A/Bテスト信頼度判定ツール」は便宜上、入力項目を「訪問数（Visitors）」と「コンバージョン数（Conversions）」としておりますが、以下のような項目の組み合わせでデータの統計有意性や信頼度（信頼係数）を判定できます。 「訪問数」と「コンバージョン数」（＋「コンバージョン率」） 「インプレッション（表示回数）」と「クリック数」（＋「クリック率」） 「クリック数」と「コンバージョン数」（＋「コンバージョン率」） Visitors Conversions Conversion Rate Confident A
[for English user] This article is a simple introduction about my project for Japanese developer. You do not have to read this, reading this project directly would be enough. RequireJSの応用方法について調べた内容をGitHubでまとめています。実装詳細はGitHubをご覧いただくとして、このエントリではそれぞれの応用について簡単な紹介をしたいと思います。 キャッシュ防止 JavaScriptファイルがブラウザにキャッシュされてしまうために、スーパーリロードなりキャッシュのクリアなりをしないと変更後のファイルが試せないことがあります。 キャッシュを防ぐ方法としてクエリパラメータの利用が知られていますが、Requ
ランディングページやバナーなどで、クリックされるテキストはどっちだろう？ カラーを変えるとクリック率があがる？ など、どちらがより効果的か検証することができるABテストを簡単に実装できるjQuery（Zeptoにも対応）の超軽量（2KB）プラグインを紹介します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
