実験結果の読み取り

概要

実験を開始した後、実験結果ページがその分析の中心的な場所となります。このページから、次のことができます。

メトリクスの測定: 意思決定のメトリクスに基づき、コントロールグループとトリートメントグループのパフォーマンスを比較したスコアカードを確認します。
結果の詳細分析: メトリクスのリフトをユーザーセグメント別に分解したり、リフトの推移を時系列でプロットしたりして、変更がコホート全体でどのように機能したかを理解します。
セッションリプレイの調査: 個々のユーザーのセッションリプレイを開き、特定のユーザーが各バリアントをどのように体験したかを確認します。
学習内容の記録: チームのために、結論や重要なポイントを記録します。

以下のセクションでは、メトリクススコアカードと結果の分析方法について説明します。

実験診断

Datadog は、実験診断を実験分析とともに実行し、エクスポージャーデータ、メトリクスデータ、ランダム化、および分析の健全性をチェックします。特にメトリクスが欠落している、予期せずゼロになっている、または警告が表示されている場合は、結果を解釈する前に診断の警告内容を確認してください。

メトリクススコアカード

実験結果ページには、各決定メトリクスのスコアカードが表示されます。各行は、1 つのメトリクスがトリートメントバリアントとコントロールバリアントの間で、そのメトリクスがどのような結果になったかを要約したものです。

3 つのメトリクスのコントロール値とトリートメント値、相対リフト、および信頼区間バーを示す決定メトリクステーブルを表示する実験結果の概要。

スコアカードの表示内容

各メトリクスについて、スコアカードには以下が表示されます。

コントロール値とトリートメント値: 各バリアントにおける被験者あたりの平均メトリクス値。
相対リフト: トリートメントとコントロールの間の平均値における変化率。
信頼区間: 観測データと整合するリフト値の範囲で、相対リフト推定値を中心としたバーとして表示。

信頼区間の幅と解釈は、実験で設定された分析方法に依存します。

メトリクスの計算方法

Datadog は、実験のセットアップ時に構成した単位 (通常はユーザー) であるサブジェクトレベルで実験を分析します。Datadog は、登録された各サブジェクトのメトリクス値を計算します (例: ユーザーあたりの収益や、ユーザーがサインアップを完了したかどうかなど)。これらのサブジェクトごとの値が、各バリアントの分布を形成します。次に、Datadog の統計エンジンが、コントロール値とトリートメント値の間でこれらの分布を比較します。

相対リフトは、コントロールグループと比較して、トリートメントグループがサブジェクトごとの平均メトリクス値をどれだけ変化させたかを測定します。

Relative lift = (Treatment − Control) / Control

相対リフトが 10% である場合、トリートメントグループのサブジェクトごとの平均値が、コントロールグループの平均値より 10% 高いことを意味します。負のリフトは、平均してトリートメントグループのパフォーマンスが低かったことを意味します。

信頼区間

信頼区間とは、観測されたデータと整合性のあるリフトの値の範囲のことです。真のリフトがこの範囲外になる可能性もありますが、区間内の値の方が、実験で測定された結果との整合性が高いと言えます。

区間全体がゼロより大きい場合、結果は正の方向に統計的に有意です。真の効果が存在しない場合、これほどの改善が見られる可能性は低いと考えられます。
区間全体がゼロより小さい場合、結果は負の方向に統計的に有意です。トリートメントによってメトリクスが減少した可能性が高いと言えます。
区間がゼロをまたぐ場合、結果は統計的に有意ではありません。この結果は、真の効果がゼロであることと整合しています。

区間の幅を精度の指標として使用します。区間が狭いほどリフトの推定精度が高く、区間が広いほど不確実性が高いことを意味します。これは多くの場合、サンプルサイズが小さいか、メトリクスにノイズが含まれていることが原因です。

多重比較補正が有効な場合、Datadog は実験のメトリクスとトリートメントバリアントの比較全体にわたってファミリーワイズエラー率を制御するため、信頼区間は広くなります。

グローバルリフト

実験では通常、対象ユーザーのサブセットのみが参加します。メトリクススコアカードの Global lift タブに切り替えて、トリートメントをすべての対象ユーザーに展開した場合に、メトリクス合計全体にどのような影響があるかを推定できます。詳細な手法については、「グローバルリフト」を参照してください。

各メトリクスについて、Global lift タブには以下が表示されます。

コントロールおよびトリートメント値: 各バリアントにおける被験者あたりの平均メトリクス値。メインのスコアカードタブに表示される値と同じです。
カバレッジ: 実験の対象母集団に関連付けられたグローバルメトリクス合計の推定割合 (実験の影響を除く)。
グローバルリフト: トリートメントをすべての対象ユーザーに適用した場合の、メトリクス合計に対する推定変化量。Datadog は、カバレッジと実験のローカル (相対) リフトの積としてグローバルリフトを計算します。

結果の確認

メトリクススコアカードでメトリクス名にカーソルを合わせると、確認オプションを表示することができます。利用可能なオプションは、メトリクスのソースによって異なります。

チャート

任意のメトリクスで [Chart] をクリックすると、実験中のメトリクスのパフォーマンスを示すインタラクティブな視覚化が開きます。チャートでは、以下の操作が可能です。

セグメンテーションプロパティによる分割: デバイスタイプやユーザー階層などのコホート間でリフトを比較します。プロパティには、エクスポージャーの初期時点における対象属性が反映されます。
リフトを時系列でプロット: カレンダー日付別、または各対象が最初に実験にさらされてからの日数別にプロットし、実験全体でのリフトの傾向を確認できます。
フィルターの追加: チャートを特定のサブセットの対象に絞り込みます。
リフトタイプの切り替え: 相対リフトと絶対リフト (トリートメントグループ – コントロールグループ) を切り替えます。

以下の例は、国別のセグメントレベルの内訳を示しています。このビューを使用して、特定のコホートが新しいエクスペリエンスに対していつ異なる反応を示したかを把握します。