「ビッグデータ」という言葉はビジネスの現場でもすっかり定着し、取引先や上司から「データによる根拠を示してください」というリクエストを受けることも多くなった。 しかし、正直なところを言えば「データ分析」という考え方はあまりなじみがなく、目の前にある膨大なデータを扱いきれずに困っている、もしくは取りあえず適当に図や表を作ってみて、ある程度見栄えが良さそうな結果を報告する、という事態に陥っている方も多いのではないだろうか。 新聞やTVにすら、あやしいデータ分析結果が満載 データをビジネスに生かすための「データ分析の力」が必須となるのは、自らが分析の当事者である場合に限らない。社内での意思決定や取引先からの説明にもデータ分析が多用されるようになってきているため、誰かの分析結果にだまされないためにも、一定のスキルを身に付けておく必要が出てきているのだ。 実際、新聞やTVを見てみると、世の中は怪しいデ

母数の少ない統計でも、アンケートに答えた人の割合（回答比率・回答率）の高さが、信頼性につながる理由を解説します。回収率が低いと、調査結果に偏りが生じてしまい、真実と大幅にずれてしまう問題が起こります。そうした偏りを少なくするために、必要なサンプル数をはじきだす計算式と、サンプル数と回答比率と誤差の早見表を紹介します。 回答「数」が多い調査と、回収「率」が高い調査、どちらが信頼できるか？前回、調査対象者を選ぶときにはランダム性が重要であるという話をしました。そうしないとサンプルが偏るためです。しかしサンプル自体が偏っていなくても、実際の回答者が偏っているとやはり使えない調査となってしまいます。 数字を絡めた具体例でお話します。次の2つの調査を比較してみましょう。 サンプル数10万人（無作為抽出）、回答数1万人の調査（回収率10％）サンプル数1000人（無作為抽出）、回答数900人の調査（回収

はじめに 数年前に「オンラインで無料で読める統計書22冊」という記事を書いた。タイトルにあるように、オンラインで無料で読める統計書として、入門者向けから高度なものまで合わせて22冊紹介した。 その後、オンラインで無料で読める統計書をさらに発掘したので、ここに紹介しておきたい。今回新しく紹介するのは、32冊である。「オンラインで無料で読める統計書22冊」と合わせてご覧いただきたい。 統計学の入門 まずは、統計学を始めて学ぶ人に向けて書かれた書籍を紹介しよう。 村上正康・安田正實．(1989). 『統計学演習』東京：培風館． 統計学を始めて学ぶ人のための入門書。 記述統計、確率分布、推定・検定の基礎、簡単な線形回帰といった内容を扱っている。入門書としてはオーソドックスなところを扱っていると言えよう。 中澤港．(2003).『Rによる統計解析の基礎』東京：ピアソン・エデュケーション． 統計学を始

世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca

気候変動やテロリズムなど、新たな社会的脅威が増大しているが、その解決の展望は開けていない。日本を含む先進国の多くは高齢化社会を迎え、成長は鈍化している。一方で、発展途上国の成長が世界経済を大きくけん引しているが、その先行きは不透明である。 このような転換点にあって、社会のリーダーには人類の歴史を展望し、社会の未来についての明確なビジョンを提示する、高度な能力が要求されている。言いかえれば、「私たちはどこから来て、どこへ行くのか？」という問いについての答えが求められているのだ。 この問いに唯一の正解はないが、少なくとも世界の動きを数字でしっかりと捉え、事実に立脚した判断をすることが重要だ。そこで今回は、世界の動きを数字で読む方法を紹介しよう。 歴史の発展を可視化するアプリ 人類の歴史を数字にもとづいて理解するためには、歴史の発展を測る指標（ものさし）が必要である。その指標として、「寿命」「所

渡邉：トヨタでは問題解決の有効なツールとして「Statistical Quality Control」、略してSQC（統計的品質管理）を根付かせる取り組みをしています。 社員向けのSQC研修、実践における活用支援、さらに実際に社員がSQCを活用して業務を改善した事例を発表する大会の開催などです。そこで紹介された改善事例は社内にも広めていき、社員1人ひとりが統計的ものの見方・考え方を活用して、仕事の質や技術力の向上に繋げていくことが仕事です。 西内：先日、トヨタ自動車さんに招待されての社員発表会で統計学活用の講演をしたのですが、技術系、事務系、営業系を問わず大勢の方が参加されていて、大変な盛況ぶりでした。 渡邉：SQC全社大会ですね。弊社では技術系約160部署を中心に、SQCの事例を募り、選考会でプレゼンしてもらっています。その選考会を勝ち抜いたものを、年1回のSQC全社大会で発表するように

西内啓 統計家 社会にイノベーションを起こすためのさまざまなプロジェクトにおいて調査、分析、システム開発および戦略立案をコンサルティングする。 この著者の記事を見る

本連載では「最強」の統計家、西内啓氏がビジネスにおけるデータ分析の課題解決フレームワークを明かしていきます。 連載第1回「仮説を最初に立てるな！」では、データ分析で想像しなかった発見、直感に反する発見を得るための「オープン・クエスチョン」の実践の仕方を紹介しました。第2回「分析の前に決めるべき3つのこと」では、意味のあるデータ分析をする前に、決めるべき3つの重要なポイントを紹介しました。 今回は3つの重要なポイントのうち、まず決めるべき「利益に直結する成果指標」の決め方を紹介します。 本連載のすべては書籍『1億人のための統計解析　エクセルを最強の武器にする』に収録しています。 「データからわかった時に、最もうれしい変数」のことを、私は医学と政策科学の分野での表現に倣って「アウトカム」と呼んでいる。これは「成果」という意味だ。 アウトカムとはすなわち、治療方法や政策が目指すべき「最終的なゴー

コンピュータが急速に進化したおかげで、データを解析するための手間や演算時間はほとんど問題にはならなくなった。 適切なツールを使えば、100個の項目がある顧客10万人分のデータから「来店頻度が高いのはどのような顧客か？」を調べることだって一瞬でできてしまう。 ただし、闇雲に総当たりで見ていけばいいというものでもない。そういうやり方では、本当に知りたいことがわかるとは限らないのだ。 関連がある＝価値がある？ 1990年代にはデータマイニングという言葉が流行し、「人間が仮説を考えるのではない。コンピュータが自動的にすべてを発見してくれる」という考え方が主張された。まさに、項目を総当たりで調べるという方法論である。データマイニングは、人間の直感に反するさまざまな関連性を明らかにする。例えば、スーパーマーケットで「週末には、オムツの購買率とビールの購買率の関連性が高い」ことがわかるかもしれない。 で

ビッグデータをいかに活用するかが注目を集めている昨今。統計学の本がベストセラーになるなど、データ分析にかかわる“理系の知識”の必要性を感じている人は多い。一方で、営業やマーケティングに携わる一般ビジネスパーソンはいわゆる“文系”がほとんどだろう。 そこで、大阪ガスの企業内データサイエンティストとして著名かつ、文系の営業マンらと長年協働してきた経験を持つ同社ビジネスアナリシスセンター所長の河本薫氏に、文系の人でも、データ分析を理解し、仕事で使いこなすには何をすればいいのかを聞いた。 （聞き手は三木いずみ） 河本さん自身は、データサイエンティストで理系ですが、社内の事業や経営に分析結果を生かす際には、企画や営業といった文系の人と仕事をされることも多いかと思います。 河本：そうですね。営業の現場の人から話を聞きながら、分析モデルを作りますし、出てきた分析結果の数字について、最終的にどう活用するか

通販王国と言われる九州で、一貫してダイレクトマーケティング型ネット広告に従事し、担当した全てのネット通販広告主（クライアント）を大成功させてきた株式会社売れるネット広告社の加藤公一レオ氏が、ネット広告で“売れる”ノウハウ（仕組み）を徹底的に大公開する。 “マーケティング”っていうけど、数字見てどうしたいの？ コンサルなんて職業をやっているとよく、「データ分析どうするんですか？」とか、「この辺ちゃんと分析したほうがいいんじゃないですか？」、なんて質問をされるんだけど、みんな本質が分かってないんだよねぇ。 「商品開発をするために顧客を分析して、その結果を検討する」とかならわかるけど、もう広告を打ち始めちゃっているのにそんなの遅いよ。それとも、今から顧客分析などを詳細に行って、分厚い“マーケティング”分析の提案資料を提示して、現状の仕組みを根底から崩してしまうような“仮説”が欲しいわけ（笑）。

学者一般にあてはまることかもしれないが、経済学者は意外に出張が多い。カンファレンスやセミナーで1カ月に一回くらいは出張している気がする。出張の一番の目的はなんといっても自分の研究の宣伝。こんなに面白いことやっていますよ、と同業者（他大学の教員）に売り込む。そうして自分の研究に注目してもらって、ひいては研究者としての注目度もあがっていく。 出張の2番目の目的は、まだ具体的にはなっていないリサーチのアイデアみたいなものについて他の研究者といろいろ話すこと。多くの場合はそこから何も生まれないけれど、ごくたまに新たな研究の種が見つかる。今回ご紹介するのは、そんな雑談から始まった共同研究だ。共同研究者の中林純東北大准教授とは、昨夏、東京大学で僕が共催したカンファレンスの懇親会で初めて出会った。 研究の目的は、公共工事の入札のデータから談合を見抜き、談合に手を染めていた業者を特定しようというものである

意外に知られていないことだが、データ分析には定石が存在する。 なぜ知られていないのだろう？ 大学で教えられる統計学やデータマイニングそれ自体の知識と、「実データに対してどう解析すべきかという方針を立てる」スキルはまったく別次元のものだから、というのが私なりの解釈だ。 専門家の指導の下、現実的なシチュエーションに基づく実データを扱った経験が豊富にあれば、こうしたデータ分析のスキルは自然と身につく。私自身、データ分析という仕事に携わりはじめてから10年以上経つが、スキルの大半はこの間に得た恩師の指導と、共同研究者やクライアントの与えてくれたデータとディスカッションによって支えられている。この10年間、毎月のようにありとあらゆる課題に関する、ありとあらゆる形のデータを与えていただけたことは、若い統計家にとって望外の幸運であった。 それでは、データ分析のスキルを身につけたい人は、このような経験をひ

デジタル化された情報の爆発的増加は、とどまるところを知らない。 2011年4月に米科学誌サイエンスに掲載された論文（M Hilbert&P Lopez: The World's Technological Capacity to Store, Communicate, and Compute Information ）に興味深い推計が示されている。 1986年には、地球上に26億ギガバイトの情報格納容量が存在したが、その99％以上は、本・新聞・写真プリント・LPレコードなどのアナログ情報だった。 2000年になると、これが全体で54.5億ギガバイトと2倍以上に。増加分はアナログ情報と（ハードディスクドライブやDVDなどの）デジタル情報がほぼ半々で、全体に占めるデジタル比率は25%にとどまっていた。 ところが、2007年までには合計295億ギガバイトに急増し、アナログ情報が純減したこともあっ

工藤：前回に指摘したように、データ分析の成果を日々の運用のレベルにまで落とし込むことが大切です。どの業態においても、日々の業務の中でデータを見て行動を起こすところまで環境が整わないと継続して使ってもらえないですよね。 日常での運用を前提に、やるべきことの優先順位をつけて行動できるようにすることが大切です。例えば、分析の結果から売るべき対象をたくさん提示したところで、営業担当者は処理しきれないでしょう。現場の負荷がとても高くなってしまい、「とてもじゃないけど対応できないよ」ということになる。「何かまた、面倒なお願い事項がきた」と思われてしまい、具体的なビジネス施策につながらないのです。 データ活用で成功している企業、例えば、アマゾン・ドット・コムやグーグルの秘訣は、データ分析をきちんと運用まで落とし込んでいることだと思います。 西内：アマゾンが成功している理由の一つは、どのようにデータ分析を