前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ
R は有名な統計言語『 S 言語』をオープンソースとして実装し直した統計解析ソフトです．さまざまなプラットフォーム（OS）に対応しており，誰でも自由にダウンロードすることができます．それにも関わらず，世界中の専門家が開発に携わっており，日々新しい手法・アルゴリズムが付け加えられています．とにかく計算が速い上にグラフィックも充実しているので数値計算などにも持ってこいです．このドキュメントは Windows 版 R と Mac OS X 版 R（と一部 Linux 版 R ）でコマンドを調べた足跡です． ちなみに，この頁の内容を新しくした書籍は こちら ，電子書籍版は こちら で販売されております．
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
はじめに 統計のできるまで データの探し方（初級編） グラフの作り方（初級編） 特徴を捉える（初級編） 統計クイズ王！
【宣伝】2016/09/14 このページに来た方へ。あなたが求めている本はこれです。 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (10件) を見るまずこれを予約してから下記を読むといいです。 【宣伝終】 最近、ベイズ統計の入門書がたくさん出版されているので、ここで一旦まとめてみようと思います。 1. 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 (2015/6/25) 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2015/06/25メディア: 単行本この商品を含むブログ (6件) を見る データ分析業界ではかなり有名な豊田秀樹先生の本です
何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す
というわけで、前回の記事（娘を、プリキュアにするために就くべき職業）を実行して、 無事、自分の娘がプリキュアになったとしましょう。 でも、よく考えたらプリキュアの衣装って結構、肌を露出しているような気がします。そこで、プリキュアの「肌色率」について調査しました。（要は露出度ってのになるのかな） （おそらく、真面目に数値更新している本ブログにおいて、最もくだらない記事になっていると思いますので 肌に合わない方はそっとブラウザ閉じて下さい） 多分、プリキュアを見ている人が思う、「肌色率の高いプリキュア」と聞いて思いつくのは この人かな、と思いますが、実際に計測してみたら、ちょっと意外な結果が出ました。 調査方法はすごく簡単で 各シリーズの公式HPの各プリキュアの画像のうち、正面からの画像をちょっとお借りしまして、 （こういうの↓） キャラの「全面積」と、「肌色面積」の比率を計算しました。 （た
科学において統計がいかに正しく使われていないかを説明した本 Statistics Done Wrong: The Woefully Complete Guide について紹介する。 科学の世界の「ダメな統計学」 現代の科学は、統計と切っても切り離せない関係にある。多くの場合、科学者は、仮説を立てた上で、実験や調査でデータを集め、そのデータに対して統計処理を行うことで、自分の仮説が妥当かどうかを判断していく。統計がなくては自分の仮説が妥当かどうかを判断できない。判断できなければ、科学者は自分の主張を一切述べられなくなってしまう。つまり、統計を使わなければ、科学者は仕事にならないのである。統計は科学者にとって重要なのだ。 統計が重要なのだから、科学者は統計についてしっかりとした知識を持っていると思う人も少なくないだろう。また、ほとんどの科学者が正確に統計処理を行っていると思う人も少なくないだろ
早期発見・早期治療が常に良いとは限らない 癌は早期発見・早期治療が大事だと言われているが、いつでもそうだとは限らない。他のあらゆる医療行為と同じく早期発見・早期治療にはメリットと同時にデメリットがあり、そのバランスを考える必要がある。早期発見・早期治療のデメリットの一つが、過剰診断である。ここでは、過剰診断とは「治療しなくても症状を起こしたり、死亡の原因になったりしない病気を診断すること」と定義する*1。癌を早期発見しようとすると、治療せず放置しても症状を起こしたり、死亡の原因になったりしない癌を診断してしまう恐れがある。 癌を放置しておいても自然に治癒することはなく、局所浸潤したり転移したりして治りにくくなると一般に思われているためか、癌の過剰診断について理解が得られにくいことがあるようだ。まず最初に、過剰診断の典型的な事例を考えることが理解の助けになるだろう。前立腺癌の死亡率と比較して
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
シバタアキラです。先日書いたブログが500はてブ超えたのを励みに、引き続き熱く語っていきたいと思っております。 きょうは、弊社白ヤギコーポレーションで毎週開催している勉強会の記念すべき第十回目を行いました。回を重ねるごとに私の思いはどんどん確信に変わっていきます。「統計学が最強の学問であり、学問とはその程度である」ということです。そして私が白ヤギコーポレーションを設立した時の決断は、やっぱり正しかった。 本日お話いただいたのは弊社のインターン、増山に加え、株式会社ウフルの下野さんでした。テーマは「なぜ40個のサンプルで調査をするのか」 こんな内容でした： 統計学に鋭い洞察をお持ちの下野さん。素晴らしい切り口で、数式をひとつも使わずに統計のチカラを語っていただきました。例えば、2つの事象に相関があることを90％の確度で確認するには37のサンプル（実証実験）が必要であるということです。相関があ
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
ウソグラフの世界 ここ数年、統計学がブームとなっています。オープンデータやビッグデータなど、IT化の進展とともにそれまで以上にさまざまな数字が扱われるようになっています。 そんな統計において、欠かせないものがグラフです。数値を図形化して視覚的な理解をうながすグラフには、棒グラフ、折れ線グラフ、円グラフなどなど、さまざまな種類があります。 ただ、意図的かどうかはさておき、作為が加えられたグラフを見かけることも珍しくありません。数値に手を加えることはもってのほかですが、それよりも目立つのは見せ方を工夫（作為）して実際の数値以上の効果や影響を錯覚させようとするものです。そうしたものは、「ウソグラフ」あるいは「クソグラフ」などと呼ばれたりします。 それでは、こうしたウソグラフにはどういうものがあるのでしょうか？ 電子コミック市場は急成長？ 先日『News Picks』という新興のネットメディアに、
今週はまともなデータ分析やら統計学やら機械学習やらの記事を書くのが面倒になったので*1、しばらくやってなかったお薦め書籍リストでも書こうかと思います。 今回まとめるリストは、ズバリ「Rでデータサイエンス・統計学・機械学習を学ぶための10冊」。Rと言えばこのブログのメイン言語なので特に説明は要さないでしょう。去年1年間は拙著も含めてR絡みの本が大豊作で、以前のお薦め書籍リストに比べるとRの良書が増えたという部分もあり、そう言えばR本だけでリスト作れるなぁと思ったのでした。 というわけで、主に僕が持っているor読んだことがある本を中心にお薦めリストをまとめてみました。いつも通り独断と偏見まみれなので、他にも良いR本は沢山ありますよーという旨予めお断りしておきます。 そうそう、先に書いておきますがこのリストは中級者向けです。でも初学者向けに良いRの本ってあるのかなぁ。。。初学者はまずはExcel
35. ところが実は施策実施の詳細なデータも同時にあるとする 35 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 ad1 0 1 1 1 0 0 1 0 1 0 1 0 1 1 0 0 1 0 1 1 0 0 1 0 0 1 1 1 1 0 0 0 0 1 1 0 0 0 1 1 ad2 0 1 0 0 1 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 1 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 1 0 ad3 0 1 1 0 0 1 0 1 1 1 0 0 1 0 0 1 0 0 0 1 0 1 1 1 0 0 1 1 0 0 1 1 0 0 0 1 1 0 1 1 ad4
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp： データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学): 久保拓弥: 本
