fluentdとfluent-plugin-bigqueryを使ってBigQueryにデータを投入する場合の設定について。 BigQueryの制限 2015/04/16に制限の変更がありました（公式発表, 日本語のまとめ情報）。これにより、本記事の内容も影響を受けますので、新しい制限値を参考の上、適宜調整してください。 1行20KBまで 1リクエスト500行まで 1リクエスト1MBまで 1秒10,000行まで (申請により100,000まで) 1秒10MBまで 参照: https://cloud.google.com/bigquery/quota-policy#streaminginserts 1リクエスト1MBを10リクエストで10MB、1リクエスト500行を20リクエストで1万行。 このどちらかが1秒あたりのリクエスト数の上限となる。 例えばサーバのアクセスログであれば1レコードのサイ
td-agent2をAmazon Linuxで実行する | DevelopersIO
ども、大瀧です。 Fluentdディストリビューション Treasure Agent(td-agent2)のAmazon Linuxに対応した最初のリリース、2.2.0が昨日公開されました。EC2でのtd-agent2のインストール方法と、td-agent2に同梱されているWebインターフェースのfluentd-uiの様子をご紹介します。 EC2(Amazon Linux)でのセットアップ手順 公式ドキュメントのインストール手順にある、"RHEL/CentOS 5,6,7"と共通です。ダウンロードされるスクリプト内でYumリポジトリファイルのインポートとtd-agentパッケージのインストールが実行されます。Amazon Linuxでは既定でec2-userユーザーでログインするため、ダウンロードしたスクリプトをsudoコマンドで実行するところに注意します。以下のコマンドを実行します。 c
すでにアナウンス済みですが，Treasure Agent(td-agent) 2.2.0を出しました td-agent 2.2.0 - Google Groups パッケージ内の更新は以下の通りです． fluentd v0.12.7 fluent-plugin-s3 v0.5.7 fluent-plugin-mongo v0.7.8 td v0.11.8.2 fluentd-ui v0.3.18 ruby 2.1.5 json 1.8.2 cool.io 1.3.0 Amazon Linux support fluentd v0.12 このバージョンから，fluentdがv0.10ではなくv0.12系が使われるようになりました．その結果，Filter/Label，forwardプラグインでのat-least-onceなどが使えるようになります． これらの機能に関しては，v0.12のリリース
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
