Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 河合 航平 2015.07.07 1273 194192628259 こんにちは。 4月から新卒駆け出しインフラエンジニアとして日々奮闘しております河合です。 "モバイル行動ログ収集基盤" を "小さく" 始めたので、以下にインフラ構築からモバイルまでの設計までをまとめたいと思います。今回このログ収集基盤を作るにあたって私自身がこれまで経験したことのない技術・ツールを利用しましたので、それらの導入についてもご紹介いたします。 導入の背景 私は英単語サプリを中心にインフラを担当しています。 英単語サプリとは、聞ける・話せる・覚えてるをコンセプトとした高校受験からTOEICまで対策できる英単語学習のサービスです。 ユーザの分析によく使われるツールの1つにGoogle Analy
モバイルファースト室の @rejasupotaro です。 クックパッドでは、サービスをリリースしてログを収集して分析して改善してまたリリースして、というサイクルを素早く回すことでより良いものを作るということをウェブではやってきました。 クックパッドのサービス開発のフレームワークをモバイルアプリでも適用したいのですが、モバイルアプリにはウェブアプリと違ったロギングの難しさがあります。 今回はモバイルアプリのロギングの問題点とPureeというログ収集ライブラリについて話します。 モバイルアプリのロギングの難しさ ウェブアプリでは、基本的にはサーバー側でログを収集することができますが、モバイルアプリの場合は画面の制御はアプリ側で行われ、APIを介してデータを受け取るため、クライアント側でログを収集して送信する必要があります。 アプリのログを収集するのに、画面遷移をしたりタップするたびにサーバー
はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容があるかもしれないのでご容赦下さいませ。 追記（2015/08/12 PM 5:15） 1.8 が正式にリリースされていた github.com アップデート or インストール（Ubuntu） d$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=14.04 DISTRIB_CODENAME=trusty DISTRIB_DESCRIPTION="Ubuntu 14.04.1 LTS" $ $ curl -sSL https://
ログ収集ツールといえば fluentd が有名ですが、最近 mozilla が作っている Heka はご存知でしょうか？ この Heak プロジェクト、将来 fluentd の対抗馬になる予感を感じるのですが、現在ベータ版なこともあって、ドキュメントと実態が乖離しているためちょっと手が出しづらいです。 そこで、軽く使い方を紹介しようと思います。 ※以下は Heka 0.3.0 について書いています。 Heka って？ Go で書かれた hekad によって構成されるログ収集・解析システムです。面白いのは statsd にインスパイアされた統計・解析用のプラグインがデフォルトで入っていることで、例えば直近1分のログのうち、エラーがある一定値を超えたら何かをする、というリアルタイム解析が簡単に出来るようになっています。 hekad のプラグインは以下の4つのタイプに分かれており、これらを組み合
toyama0919/fluent-plugin-http_shadowというShadow Proxyっぽいことを簡単にやるプラグインを作りました。 production環境で半年くらい動かしてたのでメモしときます。 「Fluentd Meetup 2015 夏」で実際のユースケースを発表しました。 Shadow Proxyサーバとは Shadow Proxyサーバについては以下がわかりやすいです。 気軽なMySQLバージョンアップ - まめ畑 Go言語を含む複数種類の言語により実装されたソフトウェアのベンチマーク - Qiita 実装としては以下のようなものが公開されています。 cookpad/kage lestrrat/p5-Geest kentaro/delta 本番のリクエストをそのままバックエンドにあるサーバーに複製して送信するのですが、アプリケーションの規模が大きくなればなるほ
こんにちは。2月に入社して以来、とうとう勉強会の担当が回ってきた腰越です。 最近、現在進行中のプロジェクト(Rails)にて Bugsnag というサービスを導入いたしましたので、導入までの経緯について発表させていただきました。 Bugsnag とは？ なぜ Bugsnag を使うのか Bugsnag をどう使うのか Bugsnag とは？ Bugsnag は、アプリケーションで発生した例外の検知・診断に役立つサービスです。 類似サービスとして、Airbrake や Raygun、Rollbar、オープンソースでは Sentry(SaaS, OSS) や errbit などがよく知られているのではないでしょうか。 Bugsnag 導入に至る経緯 これまで、アプリケーションのエラー処理にて「エラーメールを送る」という対応をよく行ってきましたが、その一方で、過去の経験から「発生したエラーを通知
こんにちは、虎塚です。 1月27日(火)に「データ転送ミドルウェア勉強会」に参加してきましたのでレポートします。イベントは、SAPジャパンさんで開催されました。 今回のテーマは、まず、当日リリースされたばかりのOSSツールEmbulkの解説、次に、データ転送業界のドンHULFTの紹介、そして、今年リリース予定のfluentd v1について、最後に、HTTP/1とHTTP/2両対応のHTTPサーバH2Oの紹介でした。盛りだくさんですね。 懇親会ではトレジャーデータさんからピザが提供されました。SAPジャパンさん、トレジャーデータさん、ありがとうございます。 データ転送ミドルウェア勉強会 - dots.[ドッツ] 「バルクデータロードツール『Embulk』リリース 〜 fluentdの柔軟性と堅牢性をバルクでも」 最初のセッションは、トレジャーデータの古橋貞之さんによるEmbulkの思想やアー
事前準備 EC2インスタンスを適当に2つ用意する。今回はmicroを2つ用意した。 インスタンスを立ち上げる時には必要なポートの開放を忘れずにしておく。大体は22(SSH), 80(TCP), 8888(TCP), 24220(TCP/UDP), 24224(TCP/UDP)とかを空けとけば大丈夫。 インスタンスが立ち上がったら、ログインしてとりあえずgitをインストールする。 [ec2-user@localhost ~]$ which git /usr/bin/which: no git in (/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/opt/aws/bin:/home/ec2-user/bin) [ec2-user@localhost ~]$ sudo yum install -y git インストール
SIOS ビッグデータ技術ブログ: fluentd(td-agent)を監視する（Treasure Agent Monitoring Serviceとetc.）
こんにちは、SSTDの髙橋です。 今回の記事は、Fluentd Advent Calendar 2013の最終日の記事として投稿しております。 最終日ですが、今後もfluentdユーザが増え、増々活発に開発されていくことを目指して、初心者向けの記事となっております。 さて、先日開催されたfluentd casual talk#3にて，トレジャーデータからfluentd（td-agent）自体の状態を監視するサービス「Treasure Agent Monitoring Service(beta)」が発表されました。 私もベータ版の利用をさせて頂けることになったので、その利用方法やfluentdを監視するということについて色々と紹介して行きます。 1. fluentdの監視の切り分け fluentdを監視することを考える上で重要な要素として、二つ挙げます。 一つ目は、fluentd自体の監視情
Fluentd Advent Calendar は Fluentd のノウハウを投稿するカレンダーです 小さなネタでもなんでもokです
(In face of fear of www,) Dive to the future at now here どうも。 寝苦しさのためか夜中に胃痛が増しているハシモトです。 fluentdを動かしているには動かしているんですがあんま真剣に取り込み結果を見ていないのでたまに止まっている事に気づかないんですね。 でなんで止まっているかというと、これ。 2013-07-08 03:05:24 +0900 [error]: Permission denied - /var/log/httpd/access_log 2013-07-08 03:05:24 +0900 [error]: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.35/lib/fluent/plugin/in_tail.rb:366:in `initia
各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい！」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを経由してElasticsearchとS3に保存する構成にします。 Elasticsearchのインストール Fluentdで集積したログは保存するだけならS3で良いのですが、手軽にビジュアライズしたいので、今回はKibanaを使えるようにElasticsearchにも保存するようにします。今回はCentOSに導入するので、公式のyumリポジトリからインストールします。 $ sudo rpm --i
はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、別のアプローチとして @johtani さんに以下のようなコメントを頂いたので早速試してみる！ elasticsearch側でマッピングを定義してあげてからデータを登録するとおそらく、floatなどは文字列が来ても登録できると思います。 見た感じ、フィールド名などは決まっているようですし。 コメント頂けるだけでも嬉しいのにわざわざ手順まで記載頂いて感謝！有難うございます！ 参考 johtani / double_mapping_test.json mapping core types deve
はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サンプル集 準備 fluentd のプラグインインストール fluent-plugin-elasticsearch elasticsearch にログを投げる為に... /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch --no-ri --no-rdoc -V fluent-plugin-typecast elasticsearch に送るデータの型を変換する為に...理由は後述。 /usr/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
