概要 本記事にて、データ分析基盤の検討の進め方を記載します。データ分析基盤の概念モデルを検討した上で、それにサービスをマッピングを行い選定を行うプロセスを紹介します。 サービスを選定する際には、ガートナーなどの外部期間の評価報告レポートが参考になります。ガートナーは、特定の分野ごとにマジック・クアドラントを発表しており、製品ごとの弱点も記載されているなど参考になる情報が記載されております。最新のトレンドを反映された評価となっていることから、IT投資による優位性を保ちたいのであれば、適切な評価をされているサービスを選定すべきです。ガートナーの報告書は有料コンテンツではありますが、ソフトウェアベンダー（特にその分野でリーダーとなっている会社）が無償で公開していることがあるので探してみてください 製品の選定を行う際には、ソフトウェアベンダーの言葉を鵜呑みにせずに、自分で言葉の定義を行いながら進め
データエンジニアが流行しだしてから数年が経過していますが、まだまだデータエンジニアリング分野は発展途上で、次々に新しいSaaSやツール、書籍が登場しています。 データエンジニアは、データの収集、分析、活用に必要なデータ基盤を構築・運用する職種です。企業によっては、データのマネジメントやその周辺知識も必要になります。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。 私がデータエンジニアとして業務を行う上で読んで良かったと心から思える本があったのでこちらで紹介します。どなたかの一助になれば幸いです。 初級向けデータエンジニアリング 本ではありませんが、データエンジニアリングに必要な知識がスライドやPDFに綺麗にまとまっています。初めて学ぶ方には適しています。前半のデータエンジニアリングの箇所だけ参考にして下さい。（後半はAzure製品について記載されています） 注
STEP2. アウトプットを実現するために必要なデータソースを書き出す アウトプットの整理ができたら、今度はインプットとなるデータソースの整理を行いましょう。 必要なデータソースは要件から読み解くことができます。 今回は「10代のユーザーの月間視聴数（性別 / 動画カテゴリごと）の推移をグラフで見たい」という要件です。 ここから、この分析に必要なエンティティ（実体）とその属性、集計値を抽出しましょう。 エンティティと属性 ユーザー 性別 年代 動画 カテゴリ 集計値 視聴数 これらのデータを管理するテーブルを、調査やヒアリングを実施して探します。 今回は以下のテーブルを使用することとします。 user：ユーザー登録に必須な入力項目を管理するテーブル user_profile：ユーザーが登録後に設定できる任意の入力項目を管理するテーブル video：ユーザーが投稿した動画を管理するテーブル
dbt docs has two supported subcommands: generate and serve. dbt docs generate The command is responsible for generating your project's documentation website by Copying the website index.html file into the target/ directory. Compiling the resources in your project, so that their compiled_code will be included in manifest.json. Running queries against database metadata to produce the catalog.json f
AWS Glueのデータカタログは、データのメタデータを管理するための非常に便利なサービスです。データカタログを使うことで、データの整理、検索、管理が簡単になり、データ分析やETL（Extract, Transform, Load）ジョブの実行が容易になります。 データカタログの基本機能 1. メタデータ管理 データカタログは、データの「メタデータ」を管理します。メタデータとは、データの「データ」です。たとえば、テーブル名、列名、データ型、データの保存場所などが該当します。 データベースとテーブルの定義 データカタログは、データベースやテーブルのメタデータを管理します。たとえば、Amazon S3に保存されたデータファイルのスキーマ情報を登録できます。 パーティション情報の管理 データがパーティション化されている場合、そのパーティション情報もカタログに登録されます。これにより、クエリのパフ
AWS Glue Studio を使用したデータ品質の評価 - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue Studio を使用したデータ品質の評価 AWS Glue Data Quality は、定義したルールに基づき、データ品質の評価とモニタリングを行います。これにより、アクションが必要なデータを簡単に特定できます。AWS Glue Studio では、ビジュアルジョブにデータ品質ノードを追加して、データカタログ内のテーブルにデータ品質ルールを作成できます。これにより、経時的に進化するデータセットの変化をモニタリングし、評価できます。AWS Glue Studio で AWS Glue Data Quality を操作する方法の概要については、次の動画を参照してください。 データ品質ルールの作成 – 設定した組み込みルールセットを選択して、DQDL
Data Discovery: Find and explore all your data assets in a single place using various strategies, such as keyword search, data associations, and advanced queries. You can search across tables, topics, dashboards, pipelines, and services. Data Collaboration: Communicate, converse, and cooperate with other users and teams on data assets. You can get event notifications, send alerts, add announcement
初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
ホールディングスで横断的データ活用をするための組織の形 （左）株式会社バンダイナムコネクサス データ戦略部 データストラテジーオフィス データマネジャー 吉村武氏 （右）Zホールディングス株式会社 GCDO室 兼 Zデータ株式会社 経営企画部 横井公平氏 横井氏：吉村さんは、ホールディングスのデータ活用を推進する上でどんな役割を担っていますか。 吉村氏：私が所属するバンダイナムコネクサスは、バンダイナムコホールディングス（以下、バンダイナムコHD）傘下にあるバンダイナムコエンターテインメントの100％子会社で、ホールディングス傘下の3つのユニットを含めたグループ会社全体を横断したデータ活用を行うための機能会社という位置付けです。 バンダイナムコグループは「エンターテインメントユニット」「IPプロデュースユニット」「アミューズメントユニット」という3つのユニットで構成されており、それぞれデジ
This article has an unclear citation style. The references used may be made clearer with a different or consistent style of citation and footnoting. (October 2024) (Learn how and when to remove this message) Data lineage refers to the process of tracking how data is generated, transformed, transmitted and used across a system over time.[1] It documents data's origins, transformations and movements
データアーキテクチャとは？ データマネジメント用語をわかりやすく解説 近年、多くの企業ではデータを軸にしたビジネス推進を行っています。 データを活用する上で、特に重要視されているのがデータ品質の向上と維持運用を行うデータマネジメントです。 この用語集では、データマネジメントやデータ活用に関する用語を解説しています。 また、データマネジメントの専門家として活動するNTTデータ バリュー・エンジニアが、データ活用のヒントもご紹介しています。 データアーキテクチャとは、ビジネスで取り扱うデータを設計するための考え方、あるいは設計思想のことです。 また、データアーキテクトとは、データアーキテクチャを定めてそれに則ってデータの構造と流れの可視化・分析・改善をする役割を担う職務を意味します。 データアーキテクチャの設計思想は、ビジネスの要求を満たさなければなりません。 建物に例えると、地震に強い家とい
DX推進、AI 導入など攻めのデータ活用が様々な企業で行われるようになりましたが、実はそれらを実現するためには守りのデータマネジメントが必要不可欠です。 攻めのデータ活用を行うためには、データマネジメントが非常に重要になってくるのです！ この講座では、重要だけどなかなか学ぶ機会の少ないそんなデータマネジメントについて簡単に概要を学んでいきます。 「なぜデータマネジメントは重要なのでしょうか？」 データマネジメントがしっかり行われていないデータ分析は、船底に穴の空いた船のようなもの。 最初は素晴らしい船出に見えても、その船はみるみる沈んでいきます。 データ活用も同じ。 多額のコストをかけて作り上げたデータマネジメントプラットフォームDMPや それに付随するモデルもデータマネジメントが行き届いていないと形骸化していってしまいます。 このような状況を避けるために徹底したデータマネジメントが重要に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Glue Data Catalog の開始方法 - AWS Glue
