タグ

bigqueryに関するiga_kのブックマーク (5)

  • BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

    BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQLOracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQLOracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet

    BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
    iga_k
    iga_k 2022/09/20
    便利そう
  • Ingestly / リアルタイムウェブ解析 - Qiita

    Ingestlyとは ざっくりIngestlyとは 大手企業が取り組むようなウェブ解析を「民主化」 リアルタイムデータを最短でクエリー可能に インフラコスト最小、メンテナンス工数がゼロ コーディング無し、極力自動計測 UXに影響しないモダンなタグ、最速の応答時間 追記1:まずは試してみたい方へ 実装についても書きました。 Ingestly の計測エンドポイントを構成する (Fastly + BigQuery) Ingestly の計測タグをウェブサイトに設置する 追記2:HTTPS化のハードルが下がりました Fastlyが5ドメインまで無償のTLSサービスを開始し、Let's Encryptが発行する証明書が入手・利用できるようになりました。 こんな課題ありませんか? 課題:リソースの制約 大手企業が発表していた事例を参考にしたいが… - インフラ構築や保守に人を貼り付けるなんて無理 -

    Ingestly / リアルタイムウェブ解析 - Qiita
    iga_k
    iga_k 2021/01/14
    beaconでデータ収集ライブラリ
  • Rack middleware for logging all rails request

    iga_k
    iga_k 2017/10/25
    jugyoさんrails big query logger
  • BigQueryで150万円溶かした人の顔 - Qiita

    ※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役:プロ生ちゃん(暮井 慧) 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使

    BigQueryで150万円溶かした人の顔 - Qiita
    iga_k
    iga_k 2017/02/22
    注意点は、テーブルは日付ごとに分けること、でかい容量のテーブル作らないこと、全テーブルなめないこと、あたりか
  • Fluentd + BigQuery による Tweet データ収集 - Qiita

    はじめに 今回は、Twitter Streaming API で得られる全ツイート中の 1% の 日語 Tweet のデータをログとして収集し、 Fluentd を用いて、BigQuery に格納するシステムを構築する。 以下に BigQuery と Fluentd を説明を記載する。 BigQuery とは Google BigQuery とは、クラウド上で動作するデータウェアハウス。 以下の様な特徴を持っている。 テラバイト級のデータに対しても、高速に集計が可能。 ストレージ料金が安い (容量あたりの保存単価だとAWS S3 よりも安価) データのインポートが容易 (バルクアップロード / ストリーム)。 細かい話は次のリンクを参照。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja ありとあらゆるログデータを格納する先とし

    Fluentd + BigQuery による Tweet データ収集 - Qiita
    iga_k
    iga_k 2016/08/02
    fluentd twitterプラグイン
  • 1