アプリを成長させるためのログ取りとログ解析に必要なこと
•
51 likes•28,681 views
DroidKaigi2018の講演の「アプリを成長させるためのログ取りとログ解析に必要なこと」の発表資料です。
アプリを成長させるためのログ取りとログ解析に必要なこと
- 3. DroidKaigi 2018 @cattaka_net3 自己紹介 ● 住友 孝郎(Takao Sumitomo) ● たぶんAndroidアプリ開発者 ● 職歴的なもの – SIer的なこと – メーカー的なこと ● – 2014年12月〜 所属
- 5. DroidKaigi 2018 @cattaka_net5 触ったことあるもの プログラム Java, C++, Ruby, PHP, Python データベース Oracle, Sqlite3, PostgreSQL, MySQL, Realm プラットフォーム等 Android, Linux(Debian), MFC, Struts 設計 UML, Excel方眼紙
- 12. DroidKaigi 2018 @cattaka_net12 最初にやったこと ● Google Analyticsを見た – 当時はまだFirebase Analyticsはなかった ● TreasureData(ログ収集サービス)を見た ほとんどWebのログ 体系化されてなくて読み取れない わかるのはせいぜいインストール数とアクティブユーザー数
- 14. DroidKaigi 2018 @cattaka_net14 Wantedly Visitの例を考える
- 15. DroidKaigi 2018 @cattaka_net15 最も簡単な指標 ● マッチングアプリ – 応募ボタンを押す
- 16. DroidKaigi 2018 @cattaka_net16 1 2 3 4 5 0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00% 応募にたどり着くまでのファネル それまでの過程は？ ● 1: インストール ● 2: ユーザー登録 ● 3: 探す操作をする ● 4: 詳細画面を開く ● 5: 応募を押す こんな感じ？？
- 17. DroidKaigi 2018 @cattaka_net17 その過程を追うには？ ● インストール – ユーザーIDごとの最初のイベントを探す ● ユーザー登録 – Web側かアプリ側のログ ● 探す操作をする – アプリ側のログ
- 18. DroidKaigi 2018 @cattaka_net18 その過程を追うには？ ● 詳細画面を開く – アプリ側のログ – キャッシュされるとWeb側のログじゃわからない ● 応募を押す – Web側のログ ログがWeb側とアプリ側に散らばってる、、、
- 22. DroidKaigi 2018 @cattaka_net22 エンジニアリング的な指標 ● クラッシュ率 ● ANR発生率 ● レンダリング時間 ● APIのレスポンス時間 Android Vitals で確認できる
- 23. DroidKaigi 2018 @cattaka_net23 非エンジニアリング的な指標 Google Play Console, Firebase Analytics で確認できる
- 25. DroidKaigi 2018 @cattaka_net25 アクティブユーザー数 ● DAU : Daily Active User – １日のユニークユーザー数 ● WAU : Weekly Active User – ７日間のユニークユーザー数 ● MAU : Monthly Active User – １ヶ月のユニークユーザー数 – 流派によって28日だったり31日だったりする 単純に掛け算ではないので注意
- 26. DroidKaigi 2018 @cattaka_net26 リテンション率 ● 継続率とも呼ばれる ● コホート分析とも呼ばれる – （厳密には違うけど） ● 期間ごとにユーザーを分けて見る
- 27. DroidKaigi 2018 @cattaka_net27 リテンション率 Firebase Analyics – demo projectより
- 28. DroidKaigi 2018 @cattaka_net28 リテンション率 ● 多機能なアプリの場合 – 機能ごとのリテンション率が無いと どの機能がユーザーを繋ぎ止めてるか追えない
- 29. DroidKaigi 2018 @cattaka_net29 コンバージョン率 ● ユーザーの中でコンバージョンした率 ● コンバージョン – そのプロダクトの成果 – たとえば ● ECサービスなら何かが売れた ● マッチングサービスならマッチングが成立した プロダクトによって異なる
- 32. DroidKaigi 2018 @cattaka_net32 具体的なサービスやプロダクト ログ収集系 データストア 抽出環境 可視化 Firebase Analytics ※1 Google BigQuery Google Data Studio(β) ExcelR Domo Fluentd 普通の RDBMS Treasure Data Hadoop ※1:Firebase Analyticsは一部可視化機能がある
- 37. DroidKaigi 2018 @cattaka_net37 初めてやるなら ● Firebase Analytics ● Google BigQuery ● Excel の組み合わせから始めると無難
- 39. DroidKaigi 2018 @cattaka_net39 アプリで取るログの種類 ● イベントログ – Viewの操作 ● タップやスワイプ – 直接的なコンバージョン ● スクリーンログ – 画面名 – 遷移先の画面名 – 滞在時間
- 41. DroidKaigi 2018 @cattaka_net41 イベントログの項目 ● ユーザー識別子 ● 画面名 – アプリによってはActivity + Fragment ● イベント名 – タップ / ロングタップ / スワイプなど ● イベントの追加属性 – View ID / アイテムのIDなど – 内部実装はJSONが良いかも（？）
- 42. DroidKaigi 2018 @cattaka_net42 イベントログの例 ユーザー 識別子 画面名 イベント名 イベントの 追加属性画面の 追加属性 time user_id screen screen_params event event_params 1234 ListActivity click {"view_id": "title", "item_id": 432} 1234 DetailActivity {"item_id": 432} press_back 1234 ListActivity click {"view_id": "title", "item_id": 234} 1234 DetailActivity {"item_id": 234} click {"view_id": "apply"} 1234 DetailActivity {"item_id": 234} cvt_apply {"item_id": 234} 2018/02/09 12:30 2018/02/09 12:31 2018/02/09 12:32 2018/02/09 12:33 2018/02/09 12:33
- 43. DroidKaigi 2018 @cattaka_net43 イベントログのアプローチ ● 自動的にできれば理想だけど、、、 – touchイベントをフックすればできなくはない – 付加情報を追加せざるを得ないケースが多い – 過度に冗長になることがある – デザイン的な事情の独自実装に対応できない 要所要所に丹精込めて埋める
- 44. DroidKaigi 2018 @cattaka_net44 Viewの操作 vs コンバージョン ● どっちが解析しやすいか？ – Viewの操作として記録 – コンバージョンとして記録 ● ツールに寄る – FAはコンバージョンが扱いやすい time user_id screen screen_params event event_params 1234 DetailActivity {"item_id": 234} click {"view_id": "apply"} 1234 DetailActivity {"item_id": 234} cvt_apply {"item_id": 234} 2018/02/09 12:33 2018/02/09 12:33 ※：２つはユーザーの操作としては同じ 重要な指標だから両方取る
- 46. DroidKaigi 2018 @cattaka_net46 イベントログの実装：Treasure Data Map<String, Object> event = new HashMap<>(); event.put("user_id", userId); event.put("activity", activityName); event.put("fragment", fragmentName); event.put("event", "select_cotent"); event.put("item_id", itemId); event.put("name", name); TreasureData.sharedInstance() .addEvent("event_log", event); ユーザー識別子 画面 イベント名 追加属性 全部自分でやる！
- 47. DroidKaigi 2018 @cattaka_net47 イベントログの実装：Firebase Analytics Bundle bundle = new Bundle(); bundle.putLong (FirebaseAnalytics.Param.ITEM_ID, itemId); bundle.putString (FirebaseAnalytics.Param.ITEM_NAME, name); bundle.putString (FirebaseAnalytics.Param.CONTENT_TYPE, "image"); mFirebaseAnalytics.logEvent( FirebaseAnalytics.Event.SELECT_CONTENT, bundle); ↓追加属性 ↑イベント名 画面やユーザー識別子はやってくれる
- 48. DroidKaigi 2018 @cattaka_net48 イベントログの実装：Google Analytics mTracker.send(new HitBuilders.EventBuilder() .setCategory(category.category) .setAction("select_content") .setNonInteraction(false) .build()); ↑イベント名 画面やユーザー識別子はやってくれる
- 49. DroidKaigi 2018 @cattaka_net49 ライブラリごとの実装の違い ● TD, FA, GAでそれぞれ微妙に違う ● 特に画面とイベントの紐付けが異なる
- 52. DroidKaigi 2018 @cattaka_net52 スクリーンログの項目 ● ユーザー識別子 ● 画面名 – アプリによっては Activity + Fragment – 追加の属性 ● 次の画面名 ● 滞在時間 – ミリ秒やナノ秒
- 53. DroidKaigi 2018 @cattaka_net53 スクリーンログの例 画面名 画面の 追加属性 次の画面の 追加属性 次の画面名 滞在時間 time user_id screen screen_params next_screen next_params duration 1234 ListActivity DetailActivity {"item_id": 432} 46231 1234 DetailActivity {"item_id": 432} ListActivity 82323 1234 ListActivity DetailActivity {"item_id": 234} 53341 1234 DetailActivity {"item_id": 234} 72652 2018/02/09 12:30 2018/02/09 12:31 2018/02/09 12:32 2018/02/09 12:33
- 54. DroidKaigi 2018 @cattaka_net54 スクリーンログのアプローチ ● ActivityやFragment単位で取る ● トラッカーを埋める場所 – onStart / onResume – onStop / onPause ● onStart 〜 onStop で滞在時間が出せる – FAは滞在時間は自動でやってくれる
- 56. DroidKaigi 2018 @cattaka_net56 スクリーンログの実装：Treasure Data Map<String, Object> event = new HashMap<>(); event.put("user_id", userId); event.put("activity", activity); event.put("fragment", fragment); event.put("params", params); event.put("next_activity", nextActivityName); event.put("next_fragment", nextFragmentName); event.put("next_params", nextParams); event.put("duration", duration); TreasureData.sharedInstance() .addEvent("screen_log", event); 全部自分でやる！ ユーザー識別子 画面 次の画面 滞在時間 ※：onStopなどに書く
- 57. DroidKaigi 2018 @cattaka_net57 スクリーンログの実装：Firebase Analytics mFirebaseAnalytics.setCurrentScreen( activity, // Activity "DetailActivity", // screenName null // screenClassOverride ); 滞在時間や次の画面の遷移、 ユーザー識別子はやってくれる ←画面名 ※：onStartなどに書く
- 58. DroidKaigi 2018 @cattaka_net58 スクリーンログの実装：Google Analytics mTracker.setScreenName("DetailActivity"); mTracker.send( new HitBuilders.ScreenViewBuilder().build()); ←画面名 ※：onStartなどに書く
- 62. DroidKaigi 2018 @cattaka_net62 FAでベタで書いたときの問題 Bundle bundle = new Bundle(); bundle.putLong ( "item_id", id ); bundle.putString( "item_name", name ); mFirebaseAnalytics.logEvent("select_content", bundle); イベント名を定数にしたい 属性名を定数にしたい 値を型安全にしたい これらは一度コードに散らばると回収不可能になる
- 63. DroidKaigi 2018 @cattaka_net63 アプローチ ● トラッカー用の便利メソッドを作る – イベントをenum化する – 属性をGenericsで型のある定数にする – Generics芸を使った便利メソッドを作る
- 64. DroidKaigi 2018 @cattaka_net64 イベントをenum化する public enum Event { SELECT_CONTENT("select_content"), CLICK("click"), // TODO: イベントはここに追加していく ; public final String key; Event(String key) { this.key = key; } }
- 65. DroidKaigi 2018 @cattaka_net65 属性をGenericsで型のある定数にする public class Param<T> { public static final Param<Long> ITEM_ID = new Param<>("item_id", BaseBundle::putLong); public static final Param<String> ITEM_NAME = new Param<>("item_name", BaseBundle::putString); String key; IFunc<T> putFunc; private Param(String key, IFunc<T> putFunc) { this.key = key; this.putFunc = putFunc; } public interface IFunc<V> { void put(Bundle dest, String key, V value); } }
- 66. DroidKaigi 2018 @cattaka_net66 Generics芸を使った便利メソッドを作る public <V1, V2> void logEvent( Event event, Param<V1> k1, V1 v1, Param<V2> k2, V2 v2 ) { Bundle bundle = new Bundle(); k1.putFunc.put(bundle, k1.key, v1); k2.putFunc.put(bundle, k2.key, v2); mFirebaseAnalytics.logEvent(event.key, bundle); } // イベント名 // 属性1 // 値1 // 属性2 // 値2 型安全が守られる 型安全が守られる
- 67. DroidKaigi 2018 @cattaka_net67 便利メソッドを使った場合 MyTracker.getInstance().logEvent( Event.SELECT_CONTENT, Param.ITEM_ID, id, Param.ITEM_NAME, name); ● だいぶ短くなった ● イベント名と属性名が定数化された ● 属性の値が型安全になった
- 69. DroidKaigi 2018 @cattaka_net69 メソッドチェーンの方が良くない？ MyTracker.getInstance() .logEvent(Event.SELECT_CONTENT) .put( Param.ITEM_ID, id ) .put( Param.ITEM_NAME, name ) .send(); たしかに、いいかもしれない、、、けど、、、 これを忘れる事故が起こる
- 70. DroidKaigi 2018 @cattaka_net70 属性の個数は可変だよね？ ● 諦めて属性の 数ごとに作る ● RxJavaも 似たことをしてる ● ０〜７個あれば 実用十分 public <V1, V2, V3, V4, V5, V6> void logEvent( Event event, Param<V1> k1, V1 v1, Param<V2> k2, V2 v2, Param<V3> k3, V3 v3, Param<V4> k4, V4 v4, Param<V5> k5, V5 v5, Param<V6> k6, V6 v6 ) { Bundle bundle = new Bundle(); k1.putFunc.put(bundle, k1.key, v1); k2.putFunc.put(bundle, k2.key, v2); k3.putFunc.put(bundle, k3.key, v3); k4.putFunc.put(bundle, k4.key, v4); k5.putFunc.put(bundle, k5.key, v5); k6.putFunc.put(bundle, k6.key, v6); mFirebaseAnalytics.logEvent(event.key, bundle); } 例：属性が６つの場合
- 73. DroidKaigi 2018 @cattaka_net73 ログ収集サービスは何個入れる？ ● 本発表でも既に複数が出ている – Firebase Analytics – Google Analytics – Treasure Data ● 他にも広告用のものも使うことがある ● 理想は１つに絞るべきだが、そうも行かない
- 76. DroidKaigi 2018 @cattaka_net76 個別にコードを入れるのは大変 ● 対策1 – BaseActivity や BaseFragment を作る ● onStart や onStop などに仕込む public class BaseFragment extends Fragment { @Override public void onStart() { super.onStart(); MyTracker.getInstance().logScreen(this); } } ↑画面用のメソッド
- 77. DroidKaigi 2018 @cattaka_net77 個別にコードを入れるのは大変 ● 対策2 – LifeCycleCallbacks を使う ● ActivityLifecycleCallbacks ● FragmentLifecycleCallbacks
- 78. DroidKaigi 2018 @cattaka_net78 FragmentLifecycleCallbacks public class TrackFragmentLifecycleCallbacks extends FragmentManager.FragmentLifecycleCallbacks { @Override public void onFragmentStarted( FragmentManager fm, Fragment f) { super.onFragmentStarted(fm, f); MyTracker.getInstance().logScreen(f); } } ↑画面用のメソッド
- 79. DroidKaigi 2018 @cattaka_net79 FragmentLifecycleCallbacks の問題 ● １つの画面に２つFragmentがあると衝突する ● 対策 – マーカーインターフェースを計測の要否に使う
- 80. DroidKaigi 2018 @cattaka_net80 マーカーインターフェースを使う @Override public void onFragmentStarted( FragmentManager fm, Fragment f) { super.onFragmentStarted(fm, f); if (f instanceof ITrackScreen) { MyTracker.getInstance().logScreen(f); } } public interface ITrackScreen {}
- 81. DroidKaigi 2018 @cattaka_net81 ViewPagerの問題 ● 左右のFragmentがstart状態になる ● 対策 – 中のFragmentのonResumeでは計測しなくする – 親側で泥臭くハンドリングする ● onStartで最初のFragmentを記録 ● onPageSelectedで切り替わりを記録
- 84. DroidKaigi 2018 @cattaka_net84 Firebase AnalyticsのDebugViewを使う ● デバッグを有効にしたデバイスの操作が Webブラウザ上でリアルタイムに確認できる
- 86. DroidKaigi 2018 @cattaka_net86 実装上の気をつけないといけないこと ● 再送制御 – 雑に独自実装するとエラーが出たときに欠損する ● 送信タイミング – 都度通信するとバッテリーに優しくない – 適当なタイミングでまとめてやって欲しい FA, GA, TDは全部やってくれる
- 87. DroidKaigi 2018 @cattaka_net87 Firebase Analyticsへの気遣い
- 88. DroidKaigi 2018 @cattaka_net88 Firebase Analyticsへの気遣い ● Firebase Analyticsには地味に制約が多い – 制約を守らないとエラーになってログが送れない ● 主な制約 – イベント名の種類は500個まで – イベント名と属性名 ● 英数とアンダースコアで40文字まで – 属性の値は100文字まで – 同一属性名の型は揃えること
- 91. DroidKaigi 2018 @cattaka_net91 １つの指標は最低３系統で確認できること ● おかしな値は割と出る ● 最低３つあれば多数決ができる ● よく使う系統 – アクションログ – コンバージョンログ – Web側のログやDB
- 93. DroidKaigi 2018 @cattaka_net93 機密情報は入れないこと ● 取扱に困るものはログにいれないこと – パスワード – メッセージ – 利用規約やプライバシーポリシーに反するもの
- 94. DroidKaigi 2018 @cattaka_net94 定量的な数字も必要ならとる ● RecyclerView – 何処までスクロールしたか – どのViewが何秒表示されたか – getGlobalVisibleRectで頑張って実装
- 96. DroidKaigi 2018 @cattaka_net97 最初はExcelとSQL ● Google BigQueryからSQLでデータを取り出す ● ピボットテーブルでパッと項目別に集計する
- 98. DroidKaigi 2018 @cattaka_net99 Google Data Studio(beta) ● データをダッシュボードやレポートにできる ● BigQueryやRDBMSからデータを引っ張れる
- 100. DroidKaigi 2018 @cattaka_net101 その他 ● Jupyter notebook ● R ● Tableau ● Metabase ● re:dash ● Chartio 他にもたくさんあるのでググってください
- 102. DroidKaigi 2018 @cattaka_net103 Notificationでスパイク ● アクティブユーザーに誤検知されていた ● 操作ではないイベントはNonInteractiveにする – Receive, Open, Cancel など
- 103. DroidKaigi 2018 @cattaka_net105 0 50 100 150 200 250 300 350 400 count 荒ぶるグラフ ● いろんな要因でグラフは壊れる – アプリの改修時の実装ミス – Web側のDBの構成変更 – APIの改修時の構成変更 壊れたら直す リリース日
- 104. DroidKaigi 2018 @cattaka_net106 ProGuard先生ェ... ● ログ上の画面名が a とか b になっていた – 雑にclass.getSimpleName()でログを取っていた – 何かの弾みで除外指定が外れて難読化されていた
- 106. DroidKaigi 2018 @cattaka_net109 広告媒体の違いは怖い ● 広告媒体ごとにユーザーの質が異なる – CPI(Cost Per Install)と継続率は別 ● 対策 – インストール時のリファラーを記録する ● com.android.vending.INSTALL_REFERRER – 広告の計測ライブラリを使う
- 107. DroidKaigi 2018 @cattaka_net110 A/Bテストは同時期にやる ● 時間で分けたA/Bテストは恐ろしい – 「先週と今週で比較」は良くない – 広告を使っていると顕著 ● 同じ期間じゃないと徒労に終わる – Firebase Remote Config的なもので サクッと切り替えられるようにする
- 108. DroidKaigi 2018 @cattaka_net112 Next Action
- 119. DroidKaigi 2018 @cattaka_net123 WANTEDLY TECH BOOK 配布中 ● 技術書典1〜3で 頒布した記事の中から アプリ向けのものを激選
- 120. DroidKaigi 2018 @cattaka_net124 ご清聴ありがとうございました Takao Sumitomo