はじめに こんにちは、データ戦略室の伊藤です。普段の業務では、機械学習モデルの作成やインフラ基盤の構築を担当しています。 今回はBigQuery ML(以降BQML)とLooker Studio(旧称データポータル)を使用した事例について、紹介できればと思います。 BQMLとは BQMLは、BigQuery で標準 SQL クエリを使用して機械学習モデルの作成&予測ができる機能です。BigQuery内で全ての作業が完結するため、他言語の知識や複雑な前処理が不要で、かなりお手軽に機械学習を試すことができます。 現在(2023年2月)サポートされている学習モデルの種類は、以下の通りです。 線形回帰 ロジスティック回帰（分類） K 平均法クラスタリング 行列分解 時系列（時系列予測） ブーストツリー（XGBoost ベースの分類モデルと回帰モデル） ディープ ニューラル ネットワーク（DNN）
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
本ページはSQLを覚えることを目的にしたページではなく、SQLを使ってGA4のBigQueryからよく使いそうなSQLをまとめたものになります。対象は今までSQLを使ってデータをだした事が無い方、昔一度試して挫折あるいはどうすればよいか分からなくなってしまった方が対象です。そのため「とりあえず使ってみる」事を意識しております。必要な限りコメントを入れて、わかりやすさ優先の記述となっています。そのため必ずしも効率的書き方では無いことをご了承下さい。また本SQLの内容等に関してはサポート対象外となりますので、自己責任でご利用ください。 作成ご協力：@macchaice・@kirin0890・他皆様（感謝！） 利用前の確認事項 自分のデータセットを指定する 例えば以下のようにデータが格納されている場合 fromの部分は以下の通りとなります。保存データごとに変わるので、必ず自社のプロジェクトIDに
目次 はじめに 自己紹介 内容概要 基本設計 TCVのビジネスモデル 施策内容 システム構成 フェーズ１: とりあえずAutoMLを使ってみる フェーズ２: 目的変数を変える フェーズ３: BigQuery MLの導入による検証高速化 フェーズ４: 国別 フェーズ５: 回帰ではなく分類へ フェーズ６とその先へ おわりに はじめに 自己紹介 じげん開発Unitデータ分析基盤チームの伊崎です。 開発Unitは特定の事業部に所属しない全社横断組織です。 その中で、データ分析基盤チームは全社のデータ基盤の整備、データ利活用を担当しています。 私個人としては、大学で純粋数学を学んだ後、前職でエントリーレベルの機械学習エンジニアとして働きました。現職では半分データエンジニア、半分データサイエンティストとして働いています。 プライベートでKaggleに参加し、銅メダルを獲得した経験があります（最近は活動
※この投稿は米国時間 2020 年 12 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 イネのゲノムから過去のハリケーンのデータまで、Google Cloud の一般公開データセットを使用することで、データを探索、分析し、有用な情報を得られます。Google の一般公開データセット プログラム内の 200 件以上のデータセット全体で 20 PB を超える容量が確保されているため、多額の費用、設定の手間、オーバーヘッドがかかることなくビッグデータとデータ分析が利用しやすくなっています。1 か月あたり最大 1 TB のデータを無料で照会できるため、BigQuery サンドボックスの利用を開始するにあたり、請求先アカウントを準備する必要もありません。輸送管理改善のために位置情報を追加したり、米国海洋大気局（NOAA）の気象データを天気予報モデルに取り込んだりす
※この投稿は米国時間 2021 年 2 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。 組織内でデータを民主化することは、社員が新しい知見を得て、組織の成長を促すために不可欠です。その前提で、ビッグデータ環境においてデータ ウェアハウス内のデータの所出や流れを追跡できるようにすること（トレーサビリティ）は、非常に重要な意味をもちます。トレーサビリティの情報はデータリネージと呼ばれ、それを追跡、管理、確認できるような環境を整えることで、データエラーの追跡や、フォレンジック分析、データの依存関係の特定を簡単に行うことができるようになります。 データリネージは、ビジネスデータを保護するためにも欠かせません。たとえば、組織ではデータ ガバナンスの手順が定められ、個人情報（PII）などの機密データの流れを完全に追跡できるようにすることが求められています。特に重要視さ
はじめにはじめまして!! 株式会社グロービスのデジタル・プラットフォーム部門､データサイエンスチーム､データエンジニアリングユニットにてソフトウェアエンジニアをしております､爲岡 (ためおか) と申します｡ (肩書きが長くてすみません｡) グロービスには当初､機械学習エンジニアとして入社しましたが､現在は機械学習や分析に利用するためのデータ基盤の開発・運用をメインで担当しています｡ この記事では､グロービスのデータエンジニアリングユニットが運用しているデータ基盤のアーキテクチャについてご紹介できればと思います｡ グロービスについて突然ですが､皆様はグロービスに対してどのようなイメージをお持ちですか? 特にテクノロジーの領域で働く方々にとって､そもそもグロービスという企業を知らない､という方が大半なのではないか､と思っています｡ また､もしご存じだとしても､経営大学院や研修事業など､テクノロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
