BigQueryの監査ログは役に立つ PLAID Engineerの 原田(@harada_hi) です。 弊社製品KARTEでは行動データという大量データの集計においてBigQueryを多用しています。 今回はそのBigQueryのパフォーマンス確認やトラブル時の調査に利用しているBigQueryの監査ログの話を紹介します。 集計を実施する上で確認したい内容 BigQueryはSparkやHadoopを組み合わせて実施していた集計処理を賄うことが可能です。 前述のとおりPLAIDにおいてもユーザーの行動データをBigQueryに収集し、クエリを実行して集計を実施しています。 BigQueryで集計を行う上で次のような点を確認したい場面があります。 各集計クエリの実行時間 時間帯ごとの集計クエリの同時実行数 各集計クエリで使用しているslot 動的に生成される集計クエリそのもの 1を確認し
