はてなブックマーク

これまでは、母数も分かってるデータからのデータの様子を見てきたが、 次は一部のデータから集団の性質を推測する統計について。 4.1 母集団と標本 元々の関心の対象であったデータ全体を 母集団、 その一部を取り出したデータを 標本 といって、 母集団から標本を取り出すことを 標本抽出 という。 また、母集団の性質を表す統計的指標(比率、平均、分散、相関関数等)を母数という。 今までやってきたのは母数を求める方法であり、標本ではなく母集団を使ってだしてた。 現実的に母集団が無いデータは多いので、一部(標本)を使って統計して母数を推測する話。 4.2 推測統計の分類 推測って何? 推測統計 の手法は 推定 と 検定 の2つに分類されます。 細かく分類すると以下のようになる。 推測統計 推定 - 点推定 - 区間推定 検定 推定 は具体的な数値を用いて母数の値を推定する事で、点推定と区間推定がある

What is LDA? Latent Dirichlet allocation (LDA) is a topic model that generates topics based on word frequency from a set of documents. LDA is particularly useful for finding reasonably accurate mixtures of topics within a given document set. LDA walkthrough This walkthrough goes through the process of generating an LDA model with a highly simplified document set. This is not an exhaustive explanat

以下のvignetteの内容に沿っているが一部順序は前後している。 http://cran.rstudio.com/web/packages/dplyr/vignettes/introduction.html dplyrパッケージとは Hadley Wickhamが作成したデータ操作に特化したRのパッケージ。 彼がこれまでに作成した有名なRパッケージにはggplot2やplyr、reshape2などがある。 Rという統計に特化したDSLの中にさらに自分の価値観を反映したDSLを作り上げている様はまさにHadley Universe。 使うメリット データ操作に特化したパッケージとしては同作者のplyrがあった。 しかしplyrは便利だが全てRで書かれておりとにかく遅い。 dplyrはC++で書かれており、無駄な関数呼び出しがないので速い。 どのくらい速いかはこちらを見てほしい。 http:

概要 前書き - 本ドキュメントでは、Rのコーディング規約について明記しております。 - 基本的には、Hadley WickhamによるStyle guideとgoogle社で提案された規約をベースにします。 表記について - パッケージ名は{}で表記 - 関数名は’’で表記 参照サイト Advanced R, Google’s R Style Guide, R packages Lint_tool_with_R Rでコーディングスタイルを適用させる方法 gepuro流☆変数名の付け方 ご意見やご指摘など - よりよいものにしてきたいと思います。こうした方がいいのではというご指摘があれば、コメントをよろしくお願いいたします。 - 下記のいずれかでご連絡・ご報告いただけますと励みになります。 Twitter, GitHub 環境 開発環境としてRStudioを使う 分析ごとにRStudioの

RでLDAの一例 ver1.0 2014-05-07 m.ooki 0. 概要 LDAが割とすぐにRでできるらしいので、やってみた。 参考： 参考1：Rでトピック分析 参考2：トピックモデル 参考3：ldaパッケージ 1. パッケージ読み込み opts_chunk$set(warning = F, comment = "", fig.width = 11, fig.height = 6) library(lda) library(reshape2) library(ggplot2) 2. ldaパッケージで解析できるデータの例 # ベクトル型で以下のように格納できるデータならOK。csvファイルなら結合していけばOK。 sentence <- c("I am the very model of a modern major general", "I have a major headach

状況確認 AWSのアカウントの取得済み EC2インスタンスの起動とか管理を忘れたときはこちら http://recipe.kc-cloud.jp/archives/20 RStudio Server版だけをAWSで手軽に使いたいときはこちら http://rstudio-pubs-static.s3.amazonaws.com/3309_43edf277bce44d179d38858ba3725baf.html TeraTermでAmazon EC2に接続する方法を忘れたときはこちら http://ds729.jp/life/archives/4563 AndroidタブレットでAmazon EC2にSSH接続する方法を忘れたときはこちら http://sudoovi.hatenablog.com/entry/2013/10/12/171444 作成環境 AMI: Amazon Linux

となる。 まずはパッケージのロードと、よく使われるサンプルデータ（baseball)を表示 library(plyr) head(baseball) ## id year stint team lg g ab r h X2b X3b hr rbi sb cs bb so ## 4 ansonca01 1871 1 RC1 25 120 29 39 11 3 0 16 6 2 2 1 ## 44 forceda01 1871 1 WS3 32 162 45 45 9 4 0 29 8 0 4 0 ## 68 mathebo01 1871 1 FW1 19 89 15 24 3 1 0 10 2 1 2 0 ## 99 startjo01 1871 1 NY2 33 161 35 58 5 1 1 34 4 2 3 0 ## 102 suttoez01 1871 1 CL1 29 128 35

イントロダクション 我々が観測する事のできない状態（潜在変数）が存在し、その隠れた状態に応じて実際に観測される時系列データ（観測変数）が生成されているような状況を考える。このような条件設定が当てはまると考えられる状況として 観測できない音源が裏側に潜んでおり（潜在変数）、それに応じて実際に観測される音声などの信号（観測変数）が変動する 観測できない経済状態が裏側に潜んでおり（潜在変数）、それに応じて実際に観測される株価等の経済指標（観測変数）が変動する 等があげられる。ここで条件として潜在変数は離散的であり、かつ潜在変数の変化（状態遷移）がマルコフ過程である事を仮定する。このような状況・条件を統計的にモデリングするための基本的なモデルが隠れマルコフモデル（Hidden MarKov Model、以下HMM）と呼ばれている統計モデルである。 ここでは合計\( N \)個の時間的に連続した観測

R Advent Calendar 2012 22日目の投稿です。 皆さんはどんな環境でRを使ってますでしょうか。 私は主にデータをグラフ化するときRを利用するので、作成したグラフをすぐに閲覧できるGUIが嬉しいです。 また常にラップトップを持ち歩くのも面倒なので、勤め先からも自宅からも様々な環境からサーバに接続してGUIを利用できるのが望ましいです。 この要件満たすためRStudio ServerをAWSに導入してみようと思います。 AWSを利用するので私がJapan.R#3で紹介した方法(下のスライド) + RStudio Serverのインストールでも使うことはできるはず※1ですが、手間が多いので最速での利用開始とは行きません。(※1.手動でインストールした場合にはログイン後の画面が表示されませんでした。どこが悪いのかよくわからず諦めました。) 最速を目指すために少しズルをして、Go

## Settings for RMarkdown http://yihui.name/knitr/options#chunk_options opts_chunk$set(comment = "", warning = FALSE, message = FALSE, tidy = FALSE, echo = TRUE, fig.width = 10, fig.height = 8) options(width = 116, scipen = 10) ## なかなかわかりにくいRで用いられるデータ形式について解説 ## データフレームから始まって他の形式を解説します。 # 使い方 # この記載をすべてコピーして手元のRのエディタに貼付ける。 # Windows版では左上 [ファイル] → [新しいスクリプト]でエディタ。 # Mac版では真っ白い紙の形のアイコンでエディタ。 # 実行する行