ABテストの課題あるあるに対するアプローチとしてよく登場するベイジアンABテストについて、その有用性に関する理解をゆるふわに説明します。 DeNA+GO社内勉強会/AI技術共有会 2024-05-15発表
本の章立ての順番がヘン • 2章 A/Bテストを用いてクリーンに効果検証を行う • 3章 A/Bテストを用いて実務制約内で効果検証を行う • 4章 Difference in Differencesを用いて効果検証を行う • 5章 Regression Discontinuity Designを用いて効果検証を行う 8 • 「A/Bテスト → DID → RDD」という順序 • サンプル全体でのランダム性を使うA/Bテストと局所的なランダム性を使うRDDは推定に 使っている変動という意味で似た手法 →自然な発想では「A/Bテスト → RDD → DID」であるべき 思想：学ぶべき手法には優先度がある • 顕教：いろんな場面で使える手法がえらい • 「正しさ分析しないといけない」→ A/Bテスト • 「少しでもマシな分析を手早く」→ DID • 「A/Bテストができないときの工夫の1つ」→R
こんにちは、メルカリのレコメンデーションチームで Software Engineer をしている @yaginuuun です。主に推薦を通じたホーム画面における体験改善に取り組んでいます。 元々はデータアナリストとしてデータ分析関連の業務を担う傍らA/Bテストのワークフロー改善にも取り組んできました。 Mercari Advent Calendar 2022 の12日目では、去年から今年にかけて取り組んできたA/Bテスト分析の自動化について、課題感や実際の実装などについて触れていきます。 背景 A/Bテストは世界中の企業で導入されている効果検証のゴールドスタンダードとも呼べる手法であり、メルカリでも毎日のようにA/Bテストを用いた改善活動が行われています。 A/Bテストは一見とてもシンプルな効果検証手法ですが、それを適切に使用するためにはさまざまな統計的事項やアンチパターンを考慮する必要が
こんにちは @hagino3000 です。去年に引き続き今年もデータマイニングの国際会議であるKDDに参加してきました。本稿は主にアドテク及びマーケティング関連の発表に焦点を当てたレポートです。 www.kdd.org Index なぜKDDに参加するのか Tutorial Day AdKDD 2019 Tencent Ads: Interesting Problems and Unique Challenges From the Clouds to the Trenches: Learning to Manage the Marketplace In-app Purchase Prediction Using Bayesian Personalized DwellDay Ranking 本会議 マーケティングにおける逆強化学習・逆最適化 マーケットデザイン 羅生門効果 (Rashomon
ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理し… オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。 物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。 書評もいくつか届いており、勝手ながら紹介させていただきます。
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
「海外ではABテストが盛ん」という言葉を耳にし、その内容が気にはなるものの、実際にそのノウハウや事例を外国語で仕入れるのは一手間だと、先送りにしてしまう人も多いのではないでしょうか。（かくいう私も「先送り」の日本代表です。） そんな皆様の一手間を解消すべく、海外のABテストの事例とその要点を日本語でまとめてみました。 普段から気になっている海外の事例を、どうぞサクッと日本語で仕入れちゃってください。 ※本記事は2014年5月19日に公開された記事をLISKUL編集部にて再編集したものです。 グローバルナビゲーションの削除とフォームの変形でCVR336％http://unbounce.com/a-b-testing/how-a-single-a-b-test-increased-conversions/ ・オリジナルページの特徴は、上部に分厚いグローバルナビが配置されていることと、右カラムに
ウェブサービス，UI変えると，改悪とか，元に戻してとか，そういう意見が出る． サービス提供する側の立場では，新しいUIのほうが使いやすかったり，機能が増えたり，収益が増えたりするので，新しい方を多くの人に提供することに価値がある．使いやすいかとか，儲かるかとかは，リリースまでに調べておく必要があり，リリースの結果使いにくくなったり収益減ったりしたら，失敗ということになる． 一方で，ユーザーの立場からすると，前の方がずっと使ってて愛着があったとか，新しい方を覚えるのは手間とか，確かにという感じはする．また，ウェブサービスは最終的にユーザーの手元のブラウザで表示されて動くので，映画の結末が気に入らないから変えたいといった要望よりは，受け入れやすい．データ構造についての，サーバー側の処理についてのユーザーからの要望というのはあまりなくて，このボタンがどうみたいな，UIの要望が多いと思う． 全部置
39. 実際の使用イメージ 試行数 アーム1期待値 アーム2期待値 アーム3期待値 活用or探索 0(0/0) 0(0/0) 1 1(1/1) 0(0/0) 2 1(1/1) 0(0/1) 3 1(1/1) 0(0/1) 4 1(2/2) 0(0/1) 5 1(2/2) 0.5(1/2) 6 1(2/2) 0.5(1/2) 7 8 0.66(2/3) 0.5(1/2) 9 0.5(2/4) 0.5(1/2) 10 0.4(2/5) 0.5(1/2) 0(0/0) 0(0/0) 0(0/0) 0(0/1) 0(0/0) 0(0/0) 0(0/2) 0(0/2) 0(0/2) 0(0/2) ・・・最も期待値の高いアーム 39 探索 探索 探索 探索 探索 探索 活用 活用 活用 活用 ランダム選択 引くアーム 結果 1 2 3 1 2 3 - アーム1 アーム2 アーム3 アーム1 アーム2
Google アナリティクス ウェブテストの基盤を成す統計手法について説明します。Google アナリティクスでは、ウェブテストの手法として多腕バンディット方式を採用しています。多腕バンディット テストには、次のような特徴があります。 最も利益の大きい選択肢の特定を目標とする ランダム分布がテストの進行とともに更新される 「多腕バンディット（multi-armed bandit）」という名前は、それぞれに異なる見込み配当率が設定された、「One-armed bandit（片腕の盗賊）」というスロット マシンが複数並んでいる状況を模した仮説テストという意味を持っています。スロット マシンのプレイヤーは、最も見込み配当率が高いスロット マシンを見つけ出す必要がある一方で、利益を最大化する必要もあります。この状況では、これまでの配当率が最も優れているマシンのみをプレイするか、それともさらに配当率
This is the default welcome page used to test the correct operation of the Apache2 server after installation on Debian systems. If you can read this page, it means that the Apache HTTP server installed at this site is working properly. You should replace this file (located at /var/www/html/index.html) before continuing to operate your HTTP server. If you are a normal user of this web site and don'
ランディングページのコンバージョンを最大化するためには、継続的なA/Bテストが不可欠だ。 A/Bテストは地道な作業だが、根気づよく実践すると、自分自身、驚くぐらいに数字が改善されていく。 しかし、実際にA/Bテストをするとなると、どこから手をつければ良いのか分からなくなってしまう方も多いのではないだろうか？ そこで、本日は、A/Bテストによって、ランディングページのコンバージョンを倍増させるための方法を、６つの事例とともにご紹介する。ぜひ、参考にして欲しい。 また、私たちバズ部は12年で400社以上のメディア支援を行い、 立ち上げから10ヶ月で14.6億円の売上を産んだ不動産メディア8ヶ月で月間140万PVを実現したアプリメディアなど大きな成果を挙げ続けている。 各サイトの成功要因をインタビューしているので、 あなたのサイトに役立てて欲しい⇒25サイトの成功事例インタビューはこちら 事例１
March 12, 2013 Abba - JavaScript a/b testing Abba is a self-hosted a/b testing framework built to help improve conversion rates on your site. Tuning signup and payment forms can have huge effects on your business, and it’s a good idea to supplement design and copy changes with data on how differences actually effect conversion. We built this tool for internal use at Stripe, and today we’re open-so
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
プログラミング教育や社員の健康をサポートする「CHO室」の取り組みなど、DeNAのCSRに関する情報を発信するブログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
