問題。　検診で乳がんが発見された人が100人いたとします。この100人の中で、がん検診のおかげで乳がんで死なずに済んだ人は、何人ぐらいでしょうか？ がん検診を行えば何かしら治療を要するがんが見つかる。しかし、がんを発見できること自体は、がん検診が有効であることを意味しない。「手術を要するがんが見つかってよかったのではないでしょうか」に代表されるような、がん検診に関する誤解はなかなか解けない。 マンモグラフィーによる乳がん検診は有効性が証明された数少ないがん検診の一つだが、その乳がん検診の大まかな効果の大きさを理解することで、がん検診一般についての理解も進むのではないか。そういうわけで冒頭のクイズである。もちろん、検診の対象者や乳がんの診断・治療法によってこの答えは変わってくるが、だいたい、大雑把にどれぐらいなのかを推測していただきたい。 現在の日本人のデータがあればいいのだが、残念ながら正

ITエンジニアらが技術やアイデアを競う「ハッカソン」。ちまたで話題のイベントの取材案内が記者の元に届いた。テーマは「データを駆使したプロ野球ビジネス」。取材も面白そうだが、いっそ参加してみてはどうだろう――。後輩記者を連れ、敗戦覚悟で2日間缶詰めのコンテストに挑むと、まさかの結果が待っていた。セイバーメトリクスを事前に勉強人材大手のパーソルキャリアから8月、「『ベースボールデータハッカソン』

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

まず、シンプソンのパラドックスというのは以下のような状態のこと。新薬の旧薬に対する生存率の優位性を考えてみましょう。 死亡 生存 旧薬 600 500 新薬 900 100 これだけみると、旧薬生存のオッズは0.83、新薬生存のオッズは0.11、オッズ比0.13で新薬の方が圧倒的に死亡しやすいということになります。ここで第3の変数である性別を導入し、層別分割表を書いてみると... 女 死亡 生存 男 死亡 生存 旧薬 100 5 旧薬 500 495 新薬 890 88 新薬 10 12 となり、女の新薬生存のオッズ比は1.98、男のオッズ比は1.21となり、どちらもプラスになります。男女の区別なくデータを見たときは新薬が不利だったのが、男女別にすると新薬が有利になるため、パラドックスと呼ばれています。なぜこれが生じるかというと、男女で薬の効き方の方向は同じ（プラス）だが、全体的に死亡率の

NHK Eテレ「オイコノミア」、2017年7月5日の放送を見ました。 www4.nhk.or.jp 今回の放送は、「分かって得する！原因と結果の経済学」。 出演は又吉直樹さん、岩井勇気さん（ハライチ）、 そして慶應義塾大学准教授の中室牧子さん。『「学力」の経済学』が去年話題になりました。今も書店で平積みになっています。 以下、番組の内容です。 ＝＝＝＝＝＝＝＝ 「テレビを見ると学力が下がる」は正しいか。 米スタンフォード大学のマシュー・ゲンコウ教授の調査によると、「幼少期にテレビを見た子の方が成績が高い」という結果が。（詳細は後ほど） →もっともらしい通説ほど、疑ってかかるべき。 原因と結果、因果関係を明らかにする「因果推論」。 因果関係を明らかにする方法論「因果推論」は、米国大学では必修になっているが、日本ではそうなっていない。 企業や官庁、テレビなどでも、本当に原因と結果の関係にあるか

■(2017年7月19日追記）「しがらみのない奇抜な提言は”AI”ではなく製作者側の意図」との証言がありましたので別途まとめました→ https://togetter.com/li/1131398 ■因果関係と相関関係について ・因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） http://takehiko-i-hayashi.hatenablog.com/entry/20130418/1366232166 ・相関関係と因果関係の違いが一発でわかる具体例5選 http://atarimae.biz/archives/7374 続きを読む

2022年3月15日 Googleドライブの権限変更のため，ファイルが共有されていませんでした．リンクを変更しました． 「相関係数が0.7あれば、相関が高いと言える」 などの目安を、教科書や入門書で見かけたことは ありませんか？ 私は、ちょくちょく目にするのですが、 どこの 誰が いつ 言い出したのか、ずっと不思議に思っています。 下記のリンクにあるPDFファイルで、その歴史的 変遷を追ってみました。 相関係数の大きさに対する目安の歴史的変遷.pdf 相関係数の大きさに対する目安の歴史的変遷.pdf - Google ドライブ 長くてすみません。 上手にまとめることができませんでした。 今回調べたところでは、20世紀初頭のアメリカに おける統計学や教育統計学の入門書において、 いくつかの目安が誕生したようです。 イギリスのGalton, K. Pearson, Spearmanなども 相関

統計の話題で、こういう誤りをよく見るなあ、とか、ここら辺はややこしいなあ、的なものを、エッセイ風に書いてみます。 各トピックの最後に、参考資料を紹介したりします。 色々な話題を扱うので、エントリー全体で、このくらいの知識を持っている層向け、みたいな想定はしていないです。下に行くほど、知っている人向けになる、という感じ。 標本数と標本の大きさ 調べたい集団全体から採り出した個体の数の事を、標本数と書くのをよく見かける。でも正確にはこれは、標本の大きさと言う。この違いは、標本という言葉をどのように捉えるか、に起因するもの。標本を、調べたい集団に属する要素と考えるか、含まれる集合と捉えるか。前者で考えると標本数を使う事になるけれど、抽出した集まりそのものを標本とすれば、標本数とは言えなくなる。で、集合に属する要素の数の事を、集合論では大きさというので、それを踏まえて、標本の大きさと言う。 たとえ

話題になった日経のトンデモグラフに対する突っ込みで、相関係数には言及してもp値、有意水準についての言及は少なく、勘違いしている人が多いのではないか？と感じたのでブラッシュアップも兼ねてまとめました。

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

先日は、大量のブクマをいただき誠にありがとうございました。 3年ほど放置したブログに、ふと思い立って１時間ほどで書き捨てた記事が、なんの「因果」か注目を浴びてしまい、あれあれと思ったら500ものブクマをいただくハメになり、どうしたもんかと悩んでおりました。 『適当な記事書いてんじゃねーよゴラ！』とのお叱りを受けましたが、これは全くそのとおりです。元データがいい加減ということはありませんが、因果関係に関しては、検証はめんどくさいので、仮説としてすっ飛ばしてますので、ダメ人間であることがバレてしまいました。 ということでお詫びがてらに多少いい加減とは言え、そこら辺の話を追加します。 まず、ここを参考にさせていただくと、誤謬の例として 因果関係の逆転 第3の要因が共通の原因 偶然の一致 互いに一方がもう一方の原因 が挙げられていますので、これらについて検討します。 なお、今回の検討にあたって、『

社会学者や経済学者にとって、統計学をベースにした計量分析とは、何かを因果的に説明する道具であるという側面がある。賃金を学歴で説明するというとき、それは他の条件が同じで学歴が変化したときの賃金の変化量を推定する、という意味である。 （記述的な分析手法を含めて）統計学を学ぶ人のほとんどは、この「説明(explanation)」のためにそれを学んでいるのだと考えられる。 しかし統計学には、それとは全く異なった目的が託されることもある。それは「選抜(selection)」である。統計学を選抜に使うというのは、それをアカデミックに活用している研究者からみても、実はあまり馴染みのない考え方である。というのも、あとで詳しく述べるが、選抜は学問的説明とは相容れない考え方だからだ。 しかし選抜は、実践家においては大いに意味がある考え方である。「限られた回数の耐久力テストの結果から、真に優れた個体を選抜する」

(１／１７追記。すいません、計算間違いがあったので、書き直しを行ってます。それに伴って、数値も書き直しています。大変申し訳ありません。) というわけで、本日の更新でございます。今回は、ちょいと、データをいじってみようと思いまして、いくつかのサイトから、サッカーのデータと引っ張ってきて、色々と調べました。 データ元ですが、 ひかりＴＶ　Ｊリーグ　サッカーデータランキング Ｊリーグ公式サイト：試合記録 からです。残念な事に、詳細なデータは、2008年のものと2009年のものになりますので、そのあたりはご容赦を。 サッカーとデータ革命 なんですが、最初に、記事のご紹介から。 http://データ革命が、欧州サッカーを「マネーボール化」する（その１） – from 『WIRED』VOL.2 データ革命が、欧州サッカーを「マネーボール化」する（その２） – from 『WIRED』VOL.2 データ

皆さまこんばんは。今回から数回のあいだは、久しぶりに統計的因果推論ネタについて書いていきたいと思います。 今回の具体的なテーマは「Judea Pearlのdo演算子」になります。マニアックです。 このテーマについては自分でも完全に理解しているわけでは全くないので、「解説」というよりも「半可通が書いた公開勉強メモ」というかんじになりますが、その旨ご了承いただければ幸いです。 （＊例によって今回もまためちゃくちゃ長いエントリーとなりますが、何卒よろしくお願いいたします。また、間違いなどがありましたらその旨ご指摘いただければ大変幸甚でございます＞本物の識者の方々） まえおき：Judea Pearlって誰すか？ はい。ではそもそもその「Judea Pearlって誰すか？」というところから書いていきたいと思います。 結論から言うと私もよく知りません。ですが、周辺的手がかりからヒューリスティックに判断