前回、Apache SparkのMLlibを使って、RandomForestをローカル環境で試してみました。今回はそれをjarにして、AWS EMRのクラスタ上でバッチとして動かしてみます。 当方開発環境がWindowsでして、AWS Cliは入れておりません。ということで、出来るだけWebのAWS Management Consoleからやっていく方針で。 Steps RandomForestを呼び出すコードをScalaで作る 前回と異なるのは、以下3点: SparkContextでMasterを設定しない => spark-submitでの実行時に投げるので、ここではいらない。 入力ファイルの場所をs3n://として、S3のロケーションを指定する。 printlnでの出力は止めて、SparkContext.saveAsTextFileでS3に結果を出力する => 引き続きリダイレクトで
Private content!This content has been marked as private by the uploader.
1. 1Copyright © 2014 NTT DATA Corporation NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔 2014年12月17日 JJUG ナイト・セミナー Spark/MLlibではじめるスケーラブルな機械学習 2. 2Copyright © 2014 NTT DATA Corporation 自己紹介 所属/氏名 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔（さるた こうすけ） 何をしている人? OSSを使ったR&Dやシステム開発、テクニカルサポートに携わっています 6年ほど大規模分散処理基盤「Hadoop」関連のR&Dやシステム開発に関わってきま した 近年はHadoopから派生して、インメモリ分散処理基盤「Spark」にも携わっています 著作物(共著)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
