Yappli Data Hubの謎に迫る踊る24新卒 / Closing in on the secret behind Yappli Data Hub by New Grads in 2024

Transcript

1. Yappli Tech Conference 0 2024.10.17 Yappli Data Hubの 謎に迫る踊る24新卒

2. Speaker 開発統括本部 プロダクト開発本部 開発2部 サーバー3グループ ⼤﨑 敬太 • 24卒 ◦

   2023年から内定者インターンでジョイン！ • 好きなデータは⽣体情報関連（ECG）

3. ⽬次 1. Yappli Data Hubについて 2. 裏側の仕組み 3. 直近の取り組みについて 4.

   まとめ

4. ゴール • Yappli Data Hubがどういったサービスなのか知る！ • どういった技術が使われているのかを知る！ • 我々がどんな取り組みを⾏なっているのか知る！

5. Yappli Data Hubについて

6. Yappli では約800アプリも運⽤されている！ 01 Yappli Data Hubについて

7. • アプリ内の⾏動データ‧属性データを「ユーザー単位」で分析可能 Yappli Data Hubとは 01 Yappli Data Hubについて

8. もう少し踏み込みます 01 Yappli Data Hubについて

9. • アプリ内の⾏動データ‧属性データを「ユーザー単位」で分析可能なサービス Yappli Data Hubとは 01 Yappli Data Hubについて エンドユーザのアプリ操作からデータを収集！

10. 取得しているデータ 01 Yappli Data Hubについて ①⾏動データ ②イベントデータ ③属性データ 各機能の閲覧ログ ボタンアクションログ

    ユーザ情報 • ホームの閲覧 • クーポンページ閲覧 • スタンプページ閲覧 • クーポンの使⽤状況 • プッシュ通知の開封 • プッシュ通知の詳細 • 性別 • 年齢 • エリア

11. • アプリ内の⾏動データ‧属性データを「ユーザー単位」で分析可能なサービス Yappli Data Hubとは 01 Yappli Data Hubについて

12. ①データの取得 • クライアント様の社内でデータ分析 ②データの連携 • Treasure Data CDP, b→dashなどの外部サービスとの連携 ③データの可視化

    • Lookerダッシュボードによるデータの可視化 活⽤⽅法 01 Yappli Data Hubについて

13. • 例：pushの開封データからよりニーズのあるpush施策 ◦ 開封されやすいpush内容は？ ▪ 時間や内容、頻度、セグメントなど ▪ データからよりユーザに適したpushを検討 効果的な施策の実施への活⽤ 01

    Yappli Data Hubについて データを⾒る pushを送信 開封率UP！

14. データドリブンなアプリ運⽤を ⽀援するサービス 01 Yappli Data Hubについて

15. • アプリ内の⾏動データ‧属性データを「ユーザー単位」で分析可能なサービス Yappli Data Hubとは 01 Yappli Data Hubについて 「んじゃこいつは何...?」

    と思われた⽅、安⼼してください 今から説明します

16. 裏側の仕組み

17. データの流れ 02 裏側の仕組み ①ユーザの  ⾏動データの格納 ②S3へのデータ格納 Cloud Run Cloud Run

    Amazon S3 Dataflow Pub/Sub BigQuery BigQuery Dataflow Cloud Storage Pub/Sub

18. • データが可視化されるまで ◦ S3に格納されたデータは分析⽤のバケットに配置 ◦ クライアントへのデータ提供または分析⽤外部ツールへのデータ連携 データが提供されるまで 02 裏側の仕組み Amazon

    S3 データ提供 外部ツール Amazon S3 Amazon S3 ECS

19. 直近の取り組みについて

20. Yappli Data Hubは⽇々進化しているのだ 03 直近の取り組みについて

21. 最近の進化 GCP サービスのバージョン対応 • GCP Dataflow SDKバージョンのアップグレード • Cloud Functions

    のランタイムをアップデート(第２世代) 社内管理コスト削減 • Yappli Data Hubクライアントを管理しやすいように改善 03 直近の取り組みについて

22. 最近の進化 GCP サービスのバージョン対応 • GCP Dataflow SDKバージョンのアップグレード • Cloud Functions

    のランタイムをアップデート(第２世代) 社内管理コスト削減 • Yappli Data Hubクライアントを管理しやすいように改善 03 直近の取り組みについて

23. • Dataflow SDKバージョンアップ対応 ◦ Dataflow で利⽤している Apache Beam SDK for

    Java を 2.34.0 から 2.56.0 ▪ ⾮推奨バージョンからサポート対象バージョンまでアップグレード GCPサービスのバージョン対応 03 直近の取り組みについて

24. • Dataflow SDKバージョンのアップグレード ◦ ⾟みポイント ▪ Javaアプリケーションの知⾒がチーム内にないため修正コストが⾼い ▪ バージョンアップに伴うリリース変更内容を追うことが⼤変 •

    AvroCoder クラスが廃⽌など ◦ 学び ▪ 定期的なアップデート • 差分が多くならないうちに定期的な確認とアップデートを！ • バージョンアップ必要性の⾃動検知システムの構築！ GCPサービスのバージョン対応 03 直近の取り組みについて

25. • Cloud Functions のランタイムをアップデート(第２世代) ◦ Goのバージョンアップに伴い第２世代への移⾏が必要に • やったこと ◦ CloudEvent

    関数を利⽤したコードに書き換える ◦ Eventarc APIの有効化とロールの付与 ◦ CLIでデプロイしている場合）指定するオプションを変更 GCPサービスのバージョン対応 03 直近の取り組みについて

26. • Cloud Functions 関数を第２世代への移⾏ ◦ 学び ▪ ドキュメントを⾒ることでGCPサービス周りの知識がインプットされた！ • 担当者コメント

    GCPサービスのバージョン対応 03 直近の取り組みについて 個⼈でこんなにクラウドサービス触れる機会はそうそうないので AWSもGCPも触れるのでプロジェクト楽しいです！

27. 最近の進化 GCP サービスのバージョン対応 • GCP Dataflow SDKバージョンのアップグレード • Cloud Functions

    のランタイムをアップデート(第２世代) 社内管理コスト削減 • Yappli Data Hubクライアントを管理しやすいように改善 03 直近の取り組みについて

28. • Yappli Data Hubクライアント管理の容易性改善 ◦ GCS上にあるjsonファイルによる管理 社内管理コスト削減 03 直近の取り組みについて json

    { "clients": [ { "name": "大崎", "usecase": "外部ツールへの連携" } ] } Cloud Storage

29. • クライアント追加時の流れ 1. jsonファイルにクライアント情報を追記 2. S3バケットの⽤意 3. ECS上の環境変数にも追加 • つらみポイント

    ◦ json の整合性検証 ◦ 管理情報が分散している 社内管理コスト削減 03 直近の取り組みについて { "clients": [ { "name": "大崎", "usecase": "外部ツールへの連携 " }, { "name": "New client", "usecase": "外部ツールへの連携 " } ] }

30. 社内管理コスト削減 03 直近の取り組みについて S3へのデータ格納 Cloud Run Amazon S3 BigQuery Dataflow

    Cloud Storage Pub/Sub • 集計対象のクライアントをjsonファイルから読み取ってデータをS3へ ◦ GCSからBigQueryの間にも処理がありますが割愛させていただきます json *間の処理は割愛

31. • ECS上の環境変数を元にバケットに配置 ◦ ⼆つのECS上のタスクから⽬的にあったS3バケットへ 社内管理コスト削減 03 直近の取り組みについて Amazon S3 データ提供

    外部ツール Amazon S3 ECS

32. • DBでクライアントを管理 ◦ 管理情報を⼀元化！ ◦ DBを参照することでECSタスクを⼀つに！ 社内管理コスト削減 03 直近の取り組みについて データ提供

    外部ツール Amazon S3 Amazon S3 ECS Cloud Run Amazon S3 BigQuery Dataflow Cloud Storage Pub/Sub Amazon Aurora *間の処理は割愛

33. • ⼯夫 ポイント ◦ クライアント情報をDB移⾏ ▪ データの⼀元管理！ ▪ ECSタスクを⼀つに！ 社内管理コスト削減

    03 直近の取り組みについて 異なるクラウドサービスのリソースへの アクセス周りの設計思想は難しさもありつつ⾯⽩い！

34. まとめ

35. Yappli Data Hubとは！ • Yappli Data Hubはデータドリブンなアプリ運⽤を⽀援するサービス！ ⽇々改善！ • 改善ポイントはまだまだある！

    ◦ システム構成の再構築 ◦ S3バケットの⾃動⽣成 ◦ データ処理の改善 まとめ 04 まとめ

36. 内定者インターンと⼊社後を通して！ • 約800アプリから収集されるデータの基盤を構築する技術的な⾯⽩さ • データドリブンなアプリ運⽤を実現するためのビジネス的な⾯⽩さ • チャレンジしやすい環境 Yappli Data Hubの⾯⽩さ

    04 まとめ

37. ゴール 04 まとめ • Yappli Data Hubがどういったサービスなのか知る！ • どういった技術が使われているのかを知る！ •

    我々がどんな取り組みを⾏なっているのか知る！