前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
確かに Dropbox にファイルを保存して public url だとちょっと遅い。自分は Gyazo で撮ったスクリーンショットを dropbox に放り込んで blog に貼る、というのを一時やってたけど GET が遅いので結局やめてしまった。 Gyazo x Dropboxで簡単スクリーンショット共有 - プログラミングノート ここにやり方がある。相当に便利なんですけどね。 さて、「遅いのがリージョンのせいなら速いリージョンにして更にCDNを挟めばいいじゃない」ということでちょこっと Quick Hack してみるとしましょう。Gyazo の画像保存先を Amazon S3 にして、S3 に保存された画像を CloudFront (AWS の CDN) で配信するように変更してみます。あらやだ便利･･･！ でも従量課金 ＼(＾o＾)／ ちなみにわざわざ CloudFront を使わ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
