先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
はじめに 近年、多くの業界においてDXを進める企業が増加し、ビジネス上の重要な意思決定においてデータの活用と分析の需要はますます高まっていると感じています。 その手始めとして、データ分析用の基盤構築・整備が行われると思うのですが、その際の大変なことの１つとして、集計したいデータが複数のデータソースに存在し、それを定期的に集めてくることの実現ではないでしょうか。 弊社でも最近、データ分析基盤の整備を行いました。その際の上記課題感に対しては、記事タイトルにもあるように、「Fivetran x BigQuery x dbt」といったサービスを組み合わせて解決・実現しました。 なお、弊社のメインサービスは、在宅医療・介護業界向けの訪問スケジュールサービスなのですが、日々蓄積されていく訪問の結果データを元に、ビジネス上の次の一手に繋がるような指標にまとめ、見える化したZEST BOARDというサービ
グーグル・クラウドは、分散型オラクルサービスであるバンド・プロトコル（Band Protocol）の技術を採用し、「金融の時系列データのリアルタイム分析」が可能になる。バンド・プロトコルの事業開発責任者であるケビン・ルー氏が明らかにした。 ルー氏は15日、Bandの標準データセットが、Google BigQuery上に公開されたことを発表した。ルー氏は今回の提携について、「分散型のオラクルを使用するハイブリッドブロックチェーンとクラウドのアプリケーションを構築できるようにするための、グーグル・クラウドチームとのコラボレーションの1つ」と説明し、次のように続けた。 「バンド・プロトコルのオラクルの柔軟な設計により、アプリケーションがブロックチェーンやWeb 2でネイティブに構築されているかどうかに関わらず、研究者や開発者があらゆる外部データソースやタイプに対して分散型オラクルを使用できるよう
はじめに この記事では、DataDirect Google BigQuery JDBCコネクタがサポートするさまざまな認証を用いて、SQL／BI／ETLツールなどのあらゆるJDBC対応アプリケーションからリアルタイムにGoogle BigQueryへ接続する方法を記述します。 この記事では、以下の2タイプ認証について述べます。 １）サービスアカウントベース ２）OAuth 2.0 では、DataDirect Google BigQuery JDBCコネクタを使用する際に、これら2つの認証スキームを使ってどのように認証できるのか？を見てみます。 サービスアカウントベース認証 1、Google Cloud Consoleにログインします。画面左上にあるメニューより、[IAMと管理]-[サービスアカウント]を選択します（下図参照）。 ２、サービスアカウントのページで、最上部の[サービスアカウント
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから いまから6年前の2014年、当時ようやくDockerコンテナが世の中に知られるようになってきた頃、Googleはすでに社内のすべてのソフトウェアをコンテナ化しており、毎週20億個ものコンテナをクラウド上で起動していると発表し、多くのエンジニアを驚かせました。 この大規模なコンテナの制御、すなわちオーケストレーションを行っていたのが同社内で「Borg」と呼ばれるソフトウェアです。 そしてKubernetesはこのBorgを基に、Googleがオープンソース化したコンテナオーケストレーションソフトウェアだとされています。 Borgの大規模分散コンテナ基盤でBigQueryが成立する このBorgによる大規模分散コンテナ基盤があるからこそ、BigQueryが安価に提供できるのだと、Google
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
みずほ銀行は、行内で利用するデータ分析基盤をクラウドに移行することを本格的に検討している。多くの部門が共同利用するデータウエアハウス（DWH）に、性能面での問題が顕在化してきたのが理由である。 2018年3月にグーグルが提供するGoogle Cloud Platform（GCP）のDWHサービス「BigQuery」を検証し、データ分析にかかるコストが従来の3分の1から4分の1になると試算。約7割のコスト削減と、上々の手応えを得た。ただしGCP一本に決めたわけではない。他のクラウドベンダーの動向もにらみながらクラウド化を進める考えだ。BigQuery活用の経緯と検証結果、クラウド活用構想を見よう。 BigQueryの日本上陸が後押し オンプレミス（自社所有）環境にあるみずほ銀行のデータ分析基盤は、利用者が集中した際のパフォーマンス劣化が課題になってきた。「100近い部門、1000人に上る利用
Mapping AWS, Google Cloud, Azure Services to Big Data Warehouse Architecture The Reference Big Data Warehouse Architecture Below is a representation of the big data warehouse architecture. I won’t go into the details of the features and components. If you want to find out more about the gory details I recommend my excellent training course Big Data for Data Warehouse and BI Professionals. Comparin
Try Google CloudStart building on Google Cloud with $300 in free credits and 20+ always free products. Free Trial When Google BigQuery launched in 2012, it introduced several novel service designs: a fully managed “serverless” operational model, rapidly scalable and multi-tenant compute, pay-per-job pricing, in-place data sharing, and perhaps most significantly: separation of storage a
エンゲージメントマーケティングソフトウェアと関連ソリューションのリーディングプロバイダーであるMarketo（本社、米国カリフォルニア州サンマテオ、以下マルケト、日本法人代表 福田康隆）とGoogle Cloudは、本日、パブリッククラウドでのMarketoのインフラの拡大と、マーケター向けの統合ソリューションの構築を目的に、複数年の提携を締結したことを発表しました。両社の取り組みでは、MarketoのエンゲージメントプラットフォームをGoogleのG Suiteおよびデータ分析に統合するほか、Googleの機械学習機能を活用します。そうすることで、マーケターはすべてのデジタルチャネルにわたって、より容易にリアルタイムで購買者の声に耳を傾け、理解したうえで、関係を構築することができます。提携合意の一環として、世界中の6,000を超える企業に利用されている、Marketoのマーケティングオー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
