はじめに 今回がBigQuery50本ノック最後の記事になります。 初級編・中級編の記事をご覧になっていない方はそちらもご参照ください。 実践編では、実業務の中で他チームに依頼されるような内容だったり、自分でデータを見たいときに書きそうなクエリだったりを題材にしたいと思います。 一部こじつけのような問題や、「それはBigQuery上ではやらんだろ！」という問題もある気がしますが、パズルみたいなものだと思ってお付き合いいただければと思います。 実践編 問題 ここで使うテーブル 使うテーブルは初級編・中級編で使ったものと同じです。 aiuto-public.knock2022_simple_ec.access_log_transform_日付 整形済みアクセスログテーブル time アクセス日時 TIMESTAMP date_jst アクセス日 DATE path HTTPリクエストのパス S
dbt-bigquery-monitoring helps you to monitor your BigQuery compute and storage assetsIntroductionI’ve been using BigQuery for eight years, and it’s been an incredible platform for working with data at scale using SQL. Running queries and creating tables for analytics and data products is remarkably easy. The advent of dbt has further simplified creating complex workflows for many data practitioner
BigQuery で音声文字変換モデルのプレビュー版をご利用いただけるようになりました🥳 BigQuery 上で 音声ファイルを簡単に文字変換して他の構造化データと組み合わせ、分析を行うことが可能です。（公式ブログもご確認ください！） これまで、音声データをスケーラブルかつ管理された方法で AI モデルに接続して、音声データから大規模なインサイトを得ることは困難でした。なぜなら、音声データの分析を行うためには、音声データの書き起こしのために個別の AI パイプラインを構築する必要があったからです。これらのパイプラインは BigQuery からサイロ化されており、文字変換されたデータを BigQuery に取り込むためにはカスタム インフラストラクチャを作成する必要がありました。 しかし、BigQuery 上で音声文字変換モデルをご利用いただくことで、SQL のシンプルさとパワーを活用して
はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue
はじめまして！4月に G-gen に入社した奥田梨紗です。この度 Google Cloud Next '24 in Las Vegas で発表された Gemini in BigQuery を試してみたので手順等をご紹介します。 はじめに Gemini in BigQuery とは 試したこと Google Cloud 側へ利用申請を行う BigQuery キャンバスを作成 Gemini in BigQuery を用いて SQL やグラフを作成 例1: 特定の数値でデータを分類する 例2: 分類分け 例3:グラフを作成 関連記事 はじめに Gemini in BigQuery とは Google Cloud Next '24 で発表された Gemini for Google Cloud の機能の1つです。 データキャンバスを作成し、自然言語（いわゆる普段話す言葉）をプロンプトに入力することで
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google Cloud Ready - BigQuery パートナー BigQuery 検証プログラムに参加すると、パートナーは BigQuery との統合を検証し、最適な統合を実現することができます。BigQuery 検証プログラムは次の 3 つのフェーズから構成されます。 評価: Google のチームが、サンドボックス化された本番環境で一連のデータ統合テストを実施し、結果をベスト プラクティスやパフォーマンス ベンチマークと比較します。 強化: 評価フェーズの結果に基づき、Google がパートナーと協力して不足部分を補います（ギャップがある場合）。 実現: パートナーと協力して既存のドキュメントを改善し、共通のお客様が Google プロダクトを最適な状態で使用できるよう万全の
GA4のBigQueryデータセットはどのリージョンに配置するべきか？2024年05月19日; Web解析
Googleアナリティクス（以降、GA4と呼びます）とアプリのGoogle広告キャンペーンを連携する際に利用されるIDは広告識別子advertising_id（Androidでは広告IDと呼び、iOSではIDFAと呼ばれる）の情報が使われております。2021年3月にリリースされたiOS14.5（iPadOS14.5、tvOS14.5)によって、iOSの広告識別子情報の取得状況を確認をしてみましょう。 サービスによってユーザーに追跡を許可されている割合は変わってきます。GA4で考え抜かれたリマーケティング用オーディエンスを作ったとしてもアプリのGoogle広告へ連携できるのは、アクティビティの追跡を許可された端末を持っているユーザだけになります。GA4のオーディエンスのボリュームが100,000件あったとして、追跡許可率が20%であれば、20,000件のリマーケティングリストと変わりません。
![[GA4]iOS14.5以降のIDFAの取得状況の確認 | アユダンテ株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/3beb8e39f6f7248caedd8dfb219328b235cea800/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fayudante.jp%2Fwp-content%2Fuploads%2F2023%2F06%2Ficon-210x210-1.jpg)
公開日 2024/08/26更新日 2024/08/26BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する はじめに株式会社プレイドのCore Platformチームに所属しているBrownです。このたびはプレイドでコアに使用しているBigQueryについて、なぜBigQueryをコアのアーキテクチャに置いているのかから、BigQueryの新しい機能であるAnalytics Hubを用いたストレージや管理コストの削減に関して記事を寄稿させていただきます。 本記事では、BigQueryを使う際に、近年よく耳にするようになった「データのサイロ化」をデータ分析の具体例として取り上げ、そのようなデータに対してどうやってBigQueryを活用するのかについて紹介します。 このブログの想定する読者の方 データ
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 22 日目の記事です。 皆様、いかがお過ごしでしょうか？ Google Cloud パートナーエンジニアの山中です。 本記事では Google Cloud Next'22 で一般利用（GA）としてアナウンスされました Analytics Hub を用いたデータ共有方法についてご紹介します。 Analytics Hub とは Analytics Hub は組織間でデータを効率よく安全に共有可能とする BigQuery を基盤としたデータシェアリング サービスです。データを共有することに主眼をおいたサービスとなっており、例えばグループ会社間でのデータ共有やオープンデータの公開などのユースケースに適用できます。 Analytics Hubの 仕組み Analytics Hub の仕組みは非常にシ
はじめに こんにちは、クラウドエース データソリューション部の坂田です。 先日、アメリカ・ラスベガスで、年に一度の大規模イベント「Google Cloud Next'24」が開催されました。 イベントの最大のテーマはやはり「生成 AI」で、生成 AI に関する様々な新しいサービスや機能が発表されました。 その中でも、今回は BigQuery データ キャンバス という BigQuery の新機能をご紹介します。 Next'24 の発表内容をさくっと知りたい方は ↓ をチェック 読んで欲しい人 BigQuery を使ってデータ分析をしている方 生成 AI × データ分析に興味がある方 BigQuery データ キャンバスとは BigQuery データ キャンバスとは、BigQuery データに対して、自然言語（日本語や英語）を使ってデータ分析を行うことができる機能です。 主に以下のような機能
Brazeブロガーの國崎です。 前回BrazeのCurrentsを使ってGoogle Cloud Storageにエクスポートするをやってみました。 ひとしきり、やった自分を褒めちぎったので次はGCS➡︎BigQueryに連携して、結果Braze➡︎GCS➡︎BigQueryが出来てるよね！ってことをしようと思い、その手順を当記事では書かせていただこうと思います。 前提条件 Google Cloudのプロジェクト設定は完了している Brazeの契約プランにCurrentsを入れている Braze➡︎GCSの手順 まず手順としてはBrazeのCurrentsを使ってGCSに書き出すところからやるのですが、そちらについてはこちらの記事で詳細を書いてますので、今回は割愛します。 GCSへの連携が終わったら、次はBigQueryへの連携です。 GCS➡︎BigQueryの手順 BigQueryを操
はじめに こんにちは、D2Cエンジニアの羽原です。 社内の一部プロジェクトにおいて、Google CloudのBigQueryを使用してデータの利活用が行われています。 利活用を行う中で、異なるGoogle CloudのプロジェクトにおいてBigQuery上のデータを共有するシステム要件が出たため、調査を行った結果BigQueryのサービスの一部であるAnalytics Hubが最も最適であるとともに、社内のデータ利活用において非常に有用なサービスと感じたため紹介させて頂きます。 Analytics Hubとは Analytics Hubとは主に、 組織間のデータアセットを安全に交換できる データストレージを一元管理することでコスト面で削減が図れる Publicに公開されたデータセットを登録することで。自身がもつBigQuery上のデータとかけ合わせることができる などの特徴を持っています
TL; DR BigQuery には、検索インデックス機能というものがあります この機能を用いると、大容量のテーブルから文字列を抽出する際に、処理するデータ量と処理完了までの時間が大幅に削減されるかもしれません 検索インデックスとは こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースの データML ディビジョンは、クラウドエースの ITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 先日機会があって BigQuery の検索インデックス機能を試してみましたので、今回の記事ではこの機能の概要とその結果をご紹介します。 BigQuery の検索インデックス機能は 2022 年 10 月 27 日のリリースにて GA(Generally Available: 一般提
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 検索インデックスを管理する 検索インデックスは、SEARCH 関数を使って極めて効率的な検索ができるよう設計されたデータ構造です。検索インデックスは、サポートされている関数と演算子を使用する一部のクエリを最適化することもできます。 ちょうど書籍の最後にある索引と同様に、文字列データのいずれかの列に関する検索インデックスは補助テーブルのように機能します。つまり、一意の単語を示す 1 つの列と、その単語がデータ内のどこにあるかを示すもう 1 つの列からなるテーブルのようなものです。 検索インデックスを作成する 検索インデックスを作成するには、CREATE SEARCH INDEX DDL ステートメントを使用します。インデックスを作成するプリミティブ データ型を指定する方法については、検索イ
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 インデックス登録されたデータを検索する このページでは、BigQuery での検索の例を示します。データをインデックスに登録すると、BigQuery で SEARCH 関数や、=、IN、LIKE、STARTS_WITH などその他の関数と演算子を使用するクエリを最適化できるようになります。 SQL クエリでは、一部のデータがまだインデックスに登録されていない場合でも、取り込まれたすべてのデータから正しい結果が返されます。ただし、インデックスを使用することにより、クエリのパフォーマンスが大幅に向上します。スキャンされるデータが少ないために検索結果の数がテーブル内の合計行数に対してごく少なくなる場合に、処理されたバイト数とスロットのミリ秒数が最大限削減されます。クエリにインデックスが使用され
はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQueryの「Non-incremental Materialized views」についてです。 このリリースにより、マテリアライズドビュー作成時にOUTER JOINやUNION、HAVING等ほとんどのSQLクエリが使用できるようになりました。 なお、この機能は
課題 UniversalAnalyticsのBigQueryテーブルのデータ抽出において、UNNESTの処理によって想定外に処理量が増えてしまうケースがあります。 直近30日分を取得するクエリ 例えば以下のようなクエリでGAテーブルから直近30日分を抽出するとします。 DECLARE FROM_DATE, TO_DATE STRING; SET FROM_DATE = CAST(FORMAT_DATE("%Y%m%d", DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)) AS STRING); SET TO_DATE = CAST(FORMAT_DATE("%Y%m%d", DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)) AS STRING); SELECT date, ( SELECT MAX( IF (INDEX
こんにちは。新米分析官のA.K.です！ 今回は、Looker StudioでBigQuery上にあるシャーディングテーブルを読み込んだ時のエラーとその対処方法についてご紹介します。 エラーの紹介 Bigquery側でサンプル用のテーブルを用意しました。テーブルはサフィックスに「YYYYMMDD」形式で日付を持っているデータです。中には適当な値を入れています。 作成に使用したクエリ例は以下の通りです。 create or replace table {dataset}.demo_{yyyymmdd} ( create_datetime DATETIME, category STRING, price INT64 ); insert into {dataset}.demo_{yyyymmdd} (create_datetime, category, price) VALUES ('2023-0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
