最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想
FluentdでDataSpiderのアクセスログを収集してみる カテゴリ : Cookbook 執筆 : sasaki 2012-12-6 17:14 みなさまこんにちは。アプレッソ開発部の佐々木と申します。 今回はFluentdを用いたDataSpiderのアクセスログの収集について紹介します。 DataSpiderのアクセスログの詳細については、以前の記事でも紹介していますのでここでは省略します。 Fluentdとは Fluentdとは、さまざまなデータソースからログを収集し、ファイルやリモートサーバに転送/集約することができるOSSのツールです。 Fluentdの主な特徴は以下のとおりです。 さまざまなデータソースからログを収集、転送、集約できる ログメッセージはJSON形式で構造化される プラグインアーキテクチャの採用によりログの入力元や出力先を容易に追加できる 障害検出
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
