分析手法

This product is not supported for your selected Datadog site. ().

概要

Datadog Experiments は、実験のリフトを推定し、その推定値に関する区間を計算するためのいくつかの方法を提供します。最適な方法は、実験の実行中に必要な柔軟性の程度、必要なサンプルサイズ、そしてチームがリリースの決定をどのように行いたいかによって異なります。

方法説明長所短所
固定サンプル頻度主義実験を開始する前にサンプルサイズや期間を選択し、そのサイズや期間に達した時点で決定を行います。固定のサンプルサイズに対し、最も高い検出力が得られます。事前の計画が必要であり、観測された結果に基づいて実験を早期に終了、あるいは延長した場合、統計的な保証が失われる可能性があります。
逐次的頻度主義実験の実行中に結果を監視し、準備ができた時点で決定を行います。偽陽性率を制御しながら、柔軟な意思決定を行うことができます。固定サンプル分析よりも検出力が低いため、同じ結果を得るために、より多くのサンプルが必要になる場合があります。
ベイズ主義実験データと妥当なリフトに関する事前信念を組み合わせ、事後分布を基に決定を行います。特にサンプルサイズが小さい場合に、微妙な違いに関する決定を行うことができます。事前分布の信頼性と、確率をどのように解釈するかについての合意が必要です。

逐次的頻度主義分析は、結果を監視し、偽陽性率を上昇させることなくリリースやロールバックの決定を行うことができるため、これがデフォルトの方法です。固定サンプル分析は、すべてが計画どおりに進んでいる場合はより効果的ですが、より厳格な意思決定プロセスが必要になります。ベイズ分析は、より特化した意思決定ワークフローをサポートします。

実験の統計分析計画で分析方法を設定します。

固定サンプル頻度主義分析

固定サンプル頻度主義分析は、実験結果を分析する最も直接的な方法です。実験を開始する前に、結果をいつ評価するかを選択します。この決定点は、固定期間または目標サンプルサイズとして指定できます。実験がこの決定点に達したら、各処理バリアントを対照と比較し、リリースするか、ロールバックするか、続けて新しい実験を行うかを決定します。

サンプルサイズが限られており、チームが実験開始前に決定条件を決定できる場合は、固定サンプル分析を使用します。

主な課題は、決定点の選択にあります。評価が早すぎると、実験には真の結果を検出するための十分な検出力がない可能性があります。評価が遅すぎると、ユーザーが劣ったエクスペリエンスに必要以上に長く晒される可能性があります。決定点は、検出力分析の結果を基に決定する必要があります。こうすると、実験チームは製品、ビジネス、または運用上の制約に準拠しながら、特定の最小検出効果を検出するのに十分な検出力が得られるような実験の期間を選択することができます。

固定サンプル分析を行う場合は、中間結果に基づいて期間やサンプルサイズを変更しないでください。結果が異常に良いまたは悪いという理由で早期に終了したり、もう少しで有意な結果が得られるという理由で実験を延長したりすると、リフト推定値にバイアスがかかり、偽陽性率が高まる可能性があります。

逐次的頻度主義分析

逐次的頻度主義分析では、実験結果を継続的に監視し、最終的なサンプルサイズを事前に選択することなく決定を行うことができます。これは、強力な肯定的または否定的な結果に対応する必要がある場合や、固定サンプル計画の仮定が実験の実行中に変化する可能性がある場合に役立ちます。

逐次分析では、結果を繰り返しチェックしながら、偽陽性率を制御することができます。短所は検出力です。実験対象の数が同じ場合、逐次分析は固定サンプル分析よりも、真の効果を検出できる可能性が低くなります。同じ検出力を得るために、場合によっては、実験をより長く実施する必要があります。

あらかじめ決められたサンプルサイズに対して検出力を最大化することよりも、柔軟性のほうが重要な場合は、逐次分析を使用します。以下が可能になることから、多くの実験では逐次分析が自然と優れた選択肢となります。

  • 実験の実行中に結果を監視します。
  • 大幅な改善や劣化が見られる場合は、早期に停止します。
  • 分析を無効にすることなく、データの収集を継続します。
  • 元のサンプルサイズの仮定が間違っていた場合は、実験を再開しません。

ベイズ分析

ベイズ分析では実験データを使用して、妥当なリフト値に関する事前信念を更新します。その結果、事前データおよび観測データとの整合性が最も高いリフト値はどれかを示す事後分布が得られます。

頻度主義手法では、処理群と対照群の間に真の差がない場合の、観測データの発生確率はどの程度であるかを調べます。一方、ベイズ手法では観測データと事前データを定数として扱い、異なるリフト値の確率を推定します。そのため、ステークホルダーに結果を説明しやすくなります。「処理群は対照群よりも優れている可能性が高い」のような説明は、分析の結果をより直接的に表すものだからです。

ベイズ分析は、次のような場合に使用します。

  • 限られたデータで決定を行う必要がある場合。
  • 単に区間にゼロが含まれていないかどうかだけでなく、リフトがビジネスのしきい値を超える確率も利用して決定を行う場合。
  • ステークホルダーが、頻度主義の p 値ではなく、成功確率を基に考えることを好む場合。

サンプルサイズが小さい場合は、事前分布の重要性が最も高くなります。十分なデータがあれば、事後分布は主に観測された実験の挙動によって決定されます。ただし、サンプルサイズが大きい場合であっても、経験に基づいた事前分布が結果に対して十分に強い影響力を持つことはよくあります。事前分布が不適切に指定されている場合、リフトの推定値と区間に影響し、それによって決定が変化する可能性があります。

事前分布の選択

どちらの事前分布も、ノイズの多いリフト推定値を事前分布の平均に向けて縮小させます。各事前分布は、 縮小を異なる方法で適用します。

  • 正規事前分布: 固定された事前分布の場合、縮小係数はリフト推定値の大きさではなく、その標準誤差によって決まります。確実性の高い推定値は縮小が小さく、不確実性の高い推定値は縮小が大きくなります。事後分布の平均と分散には閉形式があるため、この事前分布は簡単に使用できます。
  • スチューデントの t 事前分布: 縮小は、リフト推定値の標準誤差と大きさの両方によって決まります。効果が小さい場合は正規分布モデルと同様に縮小しますが、効果が大きい場合はあまり大きくは縮小しません。このアプローチは、「A/B Testing with Fat Tails」で議論されている、稀に発生する影響力の大きい事象の確率から着想を得たものです。
ベイズ区間は厳密には信用区間ですが、Datadog では実験結果の UI において信頼区間とともに表示される場合があります。頻度主義の区間とは異なり、ベイズ区間は同じ偽陽性率である保証を提供しません。

分析手法は、統計分析計画の一部に過ぎません。Datadog Experiments では、以下の設定を変更することもできます。

CUPED
各実験対象の実験前データを使用して、メトリクスの分散を減少させ、実験の感度を向上させます。CUPED を有効にした場合、表示されるリフト値やメトリクス値が、生データから計算されたナイーブ推定値とは異なることがあります。
多重検定補正
複数のメトリクスや処理バリアントの比較を評価することで生じる、ファミリーワイズエラー率の上昇を調整します。こうすると、より保守的な結果が得られますが、ベイズ分析では使用できません。詳細については、「多重検定補正」を参照してください。
信頼度レベル
リフト推定値に関する区間の広さを制御します。信頼度レベルを高くすると区間が広くなり、統計的に有意な結果を得るために必要なデータ量が増えます。

参考資料