機能フラグのデータ収集を設定したら、RUM 内の Feature Flags タブに移動します。
このビューから、機能フラグの健全性や使用状況について疑問点を調査することができます。
- 各バリアントに割り当てられているユーザー数を監視し、機能フラグの概要統計を確認します。
- 機能フラグのステータスを確認し、コード クリーンアップのために不要となり削除できるものがないか判断します。
- 機能フラグの評価がどのページで行われているかを確認します。
機能フラグは、それが評価されるイベントのコンテキストに表示されます。つまり、機能フラグのコードロジックが実行されるビューに表示されるはずです。
検索とフィルター
検索バーに入力することで、機能フラグを検索し、フィルターをかけることができます。また、ファセット検索を使えば、興味のある機能フラグのサブセットを絞り込んだり、広げたり、フォーカスを移すことができます。
機能フラグのステータス
機能フラグのステータスは 3 種類あります。
- Active
- 過去 2 週間にわたり、複数のバリアントの評価が行われています。
- Inactive
- 過去 2 週間は、コントロール バリアントの評価のみが行われています。
- Out to 100%
- 過去 2 週間は、非コントロール バリアントのいずれか 1 つの評価のみが行われています。
機能フラグを分析する
機能フラグの健全性とパフォーマンスの詳細を確認するには、リスト内のフラグをクリックして、専用の Feature Flag 分析ダッシュボードに移動できます。Feature Flag 分析ダッシュボードでは、ユーザー セッション、Core Web Vitals の変化、エラー率などの情報が表示され、機能フラグのパフォーマンスの概要を把握できます。
すぐに使えるグラフは、フラグバリアント全体に集計されるので、機能リリースの問題が深刻な問題に発展する前に、簡単に発見することができます。このダッシュボードは、機能リリースを監視する簡単な方法を提供し、問題を発見したらすぐにロールバックすることができるので、ネガティブなユーザー体験を避けることができます。
Users タブでは、機能フラグの概要統計が表示され、各バリアントに割り当てられているユーザーを任意の属性でさらに分析できます。特定のバリアントを体験したユーザーの画面が別のバリアントとどう異なるかを把握したい場合は、各ケースの セッション リプレイ を再生できます。
Issues タブでは、機能フラグが適用されたユーザー セッションにおいてアプリケーションで発生しているエラーを確認できます。Error Tracking で検出された問題が、機能フラグの特定のバリアントで発生しており、変更内容に関連している可能性がないか確認できます。
Performance タブでは、機能フラグバリアントの 1 つがパフォーマンス低下を引き起こしているかどうかを把握することができます。Core Web Vitals と各バリアントのロード時間を表示し、バリアントの 1 つがアプリケーションのパフォーマンスに悪影響を及ぼしているかどうかを判断することができます。
RUM エクスプローラーを使用して機能フラグデータからカスタムビューを構築する
RUM Explorer で RUM が収集したすべてのデータを検索し、機能フラグの傾向を把握したり、より広い文脈でパターンを分析したり、ダッシュボード や モニター にエクスポートできます。
RUM エクスプローラーでは、@feature_flags.{flag_name} 属性でセッション、ビュー、またはエラーを検索して、ユーザーが特定のユーザー体験を表示されたイベントにスコープダウンして焦点を当てることができます。
クエリを @feature_flags.{flag_name} でグループ化することで、自分やチームにとって重要なメトリクスを比較することができます。例えば、新しいチェックアウトフローが、チェックアウトページからユーザーが購入するまでのコンバージョン率にどのような影響を与えているかを理解したい場合、コンバージョン率グラフに “Group by” を追加することができます。
参考資料
