こんにちは、Analytics Infra チームの @yaginuuun です。主にA/Bテスト周りの改善や Recommendation 関連の分析を担当しています。 当ブログは 2021/07/28 に開催された Retty ✕ Mercari Analyst Talk Night! におけるLT内容を改めて少し補足を加えながらブログの形に書き起こしたものです。 当日の資料はこちらです。 A/Bテストとは A/Bテストは Randomized Controlled Trial (RCT) とも呼ばれる効果検証手法です。最も単純な例をあげると、二つの群を用意し片方の群にのみ何かの変更を加えることでその変更による数値変動を評価します。 A/Bテスト自体は医学や農業の分野など幅広く行われています。特に医学の領域においては Level of Evidence という考え方があるようですが、A
いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ
businessweek.com 2012.11.29の記事 更新：数字の桁がおかしかった 690万ドル ＝＞6.9億ドル。など via id:okemosさん 更新：I will be outspentの意味の取り違い 「支出が大杉」じゃなく「金遣いで負けてる」 これもvia id:okemosさん The Science Behind Those Obama Campaign E-Mails - Businessweek 大統領選でObama陣営はメールをa/bテスト使って最適化 オンライン経由の献金の大半をメールから獲得 件名別成績とか 大量に送りつけても実害ゼロだと分かったとか 親父から「スパムだろ」と文句言われたくらいだ、とか 「見た目最悪」なデザインが一番献金してもらえてショックだった 等々を、中の人への取材を元にまとめててわかりやすい 以下斜め読んだ内容 今回の大統領戦選挙の
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質
dIG iT Digital Marketingに関する様々なテーマで発信するブログ。 若干ペースが落ちているものの、１本は濃い内容で書いてみてます！ ウェブサイトでテストを行う場合、通常はAとBの比較をしてどちらが良いかを決めていくといったのが良くやるやり方かと思います。 ボタンのデザインはどちらが良いだろうか？文言の位置はどこが良いのだろうか？… これはこれで効果が出る場合も多くあります。でも、これだけでテストをしていると言ってしまうと半分以上損をしているかもしれません。 仮説からきちんと組み立てながらテストをきちんと設計することで、より戦略的にその次のアプローチをテストを利用しながら組み立てていくことが出来るようになります。今回はそんなテストの奥行きについて少し触れてみたいと思います。 次のアクションのために 全てにおいてテストは連続的に出来るわけではありませんが、多くの場合、きちん
※戦略室アカウントでアップロードされたものが何か見切れてたので、個人アカウントでアップしなおしました＞＜ 発表することになった経緯についてはUIO戦略室ブログをご覧ください。 色彩センスのいらない配色講座ではあえて「コントラスト」の概念には触れなかったんですが、文字情報を伝える際にはコントラストを確保することが必要です。また、コントラストが高い部分は強く、低い部分は弱く見えますので、情報の強弱をつける際に意識したりします。 参考資料 ウェブコンテンツ・アクセシビリティ・ガイドライン (WCAG) 2.0 W3Cが提唱する、ウェブコンテンツを制作する際のアクセシビリティを向上させるためのガイドライン。 カラー・コントラスト・アナライザー WCAG2.0で定められているコントラスト比を確保しているかどうかをチェックするツール。 まりっぺ ｜ 2011年12月19日 23:58 コメントありがと
Home > UI（インターフェース） > ユーザーインターフェースの検証データを公開している「ABtests.com」は、ウェブマスター必見事例の宝庫 Older ウェブの位置づけが上がるにつれ、数値的な検証がどんどん進んでいます。 ただ、その割りにどんな方法で数字が上がった、という具体的な事例がまだまだ世の中に出回っていないのも事実。 そんな中、A/Bテストの特化してインターフェースの検証事例を公開しているサイトがABtests.com」です。 インターフェースの比較検証結果が数値でわかる http://www.abtests.com/ ABtests.comの中身は、はまさに読んでそのまんまの内容。 トップページから事例が豊富に掲載されています。 例えば・・・ このフォーム、左と右でどちらが通過率が良いと思いますか？ 答えはこちらのページにて。 なかなかここまで数字で結果を出してくれ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
