タイミーのデータ活用を支えるdbt Cloud導入とこれから

Transcript

1. 2025/1/22 土川稔生 タイミーのデータ活用を支える dbt Cloud導入とこれから @tvtg_24 dbt Labs: Japanローンチイベントカスタマーセッション

2. 目次 • dbt Cloudの導入きっかけ • dbt Cloudエンタープライズプラン の導入 • これからの

   dbt Cloud活用

3. 自己紹介 土川 稔生 （Tsuchikawa Toshiki） 株式会社タイミーに2020年入社 DRE（Data Reliability Engineering）グループマネージャー 1人目データエンジニアとして

   5年ほどデータ基盤を開発。 プロダクトオーナーとして、データ基盤プロダクト作りに励む 翻訳書: アジャイルデータモデリング

4. 4

5. 5

6. 6 6

7. 従業員推移と、 dbt Cloud導入 dbt Cloud 導入 エンタープラ イズプランに 移行

8. タイミーのデータ基盤の歴史 2018 アプリ リリース DWH (BigQuery)へ データ集約 2020 Looker導入 &

   dbt Cloud導入 2021 2022 2023 2024 データモデリング をLookerからdbt へ移行 dbt exposureに よるアウトプッ トの管理 dbtをエンタープライズ プランに変更 ガバナンスやデータマネ ジメントの強化 DREの数 (正社員ベース) 1 1 1 -> 2 2 -> 4 4 -> 6 AEの数 (正社員ベース) 1 -> 2 2 1

9. dbt Cloudの導入きっかけ

10. dbt Cloud導入前 (2021年頃) dbt Cloud導入以前のタイミーのデータ活用状況 社内の人数 200-300人くらい データ基盤の状況 ある程度のデータソース をBigQueryに収集済み

    データ活用の事例 BigQuery データ基盤の状況 Redash, Looker Studio による自由な可視化 BigQuery ダッシュボードでKPIなど の指標の可視化・追跡 施策の効果測定 データ分析による課題探索

11. dbt Cloud導入前 (2021年頃) 2021年当時のデータ基盤の一部 embulk内部でマスキング処理などのデータ加工処理を行っている

12. dbt Cloud導入前 (2021年頃) 課題としては大きく3つ • embulk以外の転送ツール導入により、加工処理がembulkに依存していることで、加 工処理がバラバラでしか管理できなかった • embulkのコードの内部に加工処理が書かれているため、分析者が加工処理を確認す るにはデータエンジニアにお問い合わせする工数が発生していた

    • 分析者の体験をよくするデータ基盤を構築するために、複雑なデータモデリングを していきたいが複雑な加工が書けない状態である

13. dbt Cloudの検討 • 導入に際して、5つのツールを比較した • この時データ基盤構築するチームが自分含めて2人だったため、メンテコストなどが検討に際して重 要なポイントとなった • dbt Cloud

    チームプランの導入を決めた

14. dbt Cloud導入後 dbt Cloud導入後のデータ基盤の全体像 dbt Cloudを用いてembulkで行っていた加工処理を代替

15. dbt Cloud導入後の効果 導入してみて解決した課題 • embulk以外の転送ツール導入により、加工処理がembulkに依存していることで、加 工処理がバラバラでしか管理できなかった → dbtで中央集権的に管理することが可能になった! • embulkのコードの内部に加工処理が書かれているため、分析者が加工処理を確認す

    るにはデータエンジニアにお問い合わせする工数が発生していた → dbt exploreを通して、分析者がデータリネージュなどを確認することができた! • 分析者の体験をよくするデータ基盤を構築するために、複雑なデータモデリングを していきたいが複雑な加工が書けない状態である → 複数ステップでの加工の実装、管理がしやすくモデリングをスケールできた!

16. dbt Cloudエンタープライズ プランの導入

17. dbt Cloudエンタープライズ導入前 (2024年頃) dbt Cloudエンタープライズ導入以前のタイミーのデータ活用状況 社内の人数 1000人以上 データ基盤の状況 データ活用の事例 データ基盤の状況

    データユースケース増加 に伴うデータソース、ア ウトプットツールの増加 BigQuery MLOps経由のレコメンド マーケティング施策への データ活用 発展的なデータ分析

18. データ基盤全体図

19. dbt Cloudエンタープライズ導入前 (2024年頃) dbtの使用はどんどん拡大していたが、いくつか課題も出てきた • teamプランだったので、社員増加に対してシート数が足りなくなってきた。MLOps や、データマート開発に際し、データサイエンティストやアナリストもdbt開発に携 わるようになっていた • ジョブ設定やスケジュール設定が誰でも変えられる状態で意図しない設定ミスによ

    る障害が何度か発生した • セキュリティ対策などで、監査ログをしっかり管理したかった

20. dbt Cloudエンタープライズの導入検討 (2024/02) • 導入に際して、dbt core, dbt cloudエンタープライズの組み合わせを比較した • ジョブ、スケジュールがレビューを挟んでデプロイできること、開発人数がスケールすること、監査

    ログが残しやすいかなどが重要なポイントとなった

21. dbt Cloudエンタープライズ導入後の効果 導入してみて解決した課題 • teamプランだったので、社員増加に対してシート数が足りなくなってきた。MLOps や、データマート開発に際し、データサイエンティストやアナリストもdbt開発に携 わるようになっていた → SQLベースでGUIでデータ加工実装できるためエンジニア以外のアナリストにも スケールしやすかった

    • ジョブ設定やスケジュール設定が誰でも変えられる状態で意図しない設定ミスによ る障害が何度か発生した → レビューを挟んだ上でのジョブ、スケジュールのデプロイフローが組め、dbt Cloud上での適切な権限管理も行えるようになったため、障害のリスクが下がった • セキュリティ対策などで、監査ログをしっかり管理したかった → 監査ログが取得、分析できるようになった

22. これからの dbt Cloud活用

23. これからの dbt Cloud活用について まだまだ課題はたくさんある ...! • コスト管理をもっと細かくしたい • データ基盤のメタデータを社内でもっと広く見れるようにしたい •

    dbtのセマンティックレイヤーとしての活用のために他ツールともっと接合したい などなど... → dbtに関する豊富な周辺ツール、頻繁なdbtのアップデートをフルで活用しながら これからもdbt活用をスケール、改善していきたい

24. (余談) dbt coalesceに参加してきました 多くのdbt Cloudに関わるリリースや予告が ! • 各モデルのクエリ実行履歴を可視化する “model query

    history” や データ品質や、鮮度などの情報を他BI ツールに埋め込める “Data health tiles” などによるOBSERVABILITYの強化 • SQL知識不要でモデル作成可能なドラッグ＆ドロップ編集機能 “Visual Editing Experience” や “dbt Copilot” による開発体験向上 など楽しみな機能がこれからもたくさん One dbt: the biggest features we announced at Coalesce 2024 より

25. まとめ BEFORE AFTER • データツールや、データ量増加によりデータ加工処理がボトルネックになっていた • 加工処理を行うチームも増え、スケールするツールが必要だった • dbt利用が増えるにつれ、ジョブなどのコード管理、監査ログが必要になった •

    dbt Cloudにより複雑なデータ加工が可能になり、データモデリングが実現できた • SQLベースで、GUIでの開発ができるため開発できるチームもスケールした • エンタープライズプランによってガバナンスや、開発生産性も向上した