サンプルサイズ設計ツール
A/Bテスト設定｜2群間比率の差分
サンプルサイズ設計とは
サンプルサイズ設計とは、「A/Bテストなどの検証前に、どのくらいのサンプル（ユーザー数・UU数）があれば望む精度で結果を判断できるか」を見積もるステップです。
本来、検証を実施する上では、統計的に差を検出できるだけのデータ量を確保しないと、「期待していた差分が本当は存在するのに、有意差なしと判断してしまう（偽陰性）」や、「十分な根拠もなく、途中で検定を繰り返して誤った有意差を得る（偽陽性）」などのリスクが高まります。そこで、事前にサンプルサイズを計算しておくことで、必要最小限の実験期間やコストを見積もりつつ、ビジネス上でも納得感のある意思決定を下せるようになります。
\[n \approx 2\left(\frac{z_{1-\alpha/2} + z_{1-\beta}}{h}\right)^2\]
\[h = 2(\arcsin\sqrt{p_2} - \arcsin\sqrt{p_1})\]
- \(p_1\): コントロール群の比率
- \(p_2\): 介入群の期待される比率 \((p_1 + MCID)\)
- \(h\): Cohen's h（効果量）
- \(z_{1-\alpha/2}\): 標準正規分布の両側有意水準\(\alpha\)に対応する臨界値
- \(z_{1-\beta}\): 検出力\(1-\beta\)に対応する標準正規分布の値
必要サンプルサイズ
- 介入群: -
- コントロール群: -
- 合計: -
注意事項
1. 効果量と必要サンプルサイズの関係
検出したい差分を極めて小さく（1%未満など）設定すると、必要サンプルサイズが急増し、検証コストが膨らみます。ビジネス上意味のある最小検出差（MDE）を見極めた上で、検出したい最小限のリフト値を入力してください。
2. Cohen's hの適用範囲
Cohen's hは広告配信におけるCTRの差などの「2群の比率差」を扱う際の効果量として定義されています。連続量の平均差などを検証する場合、Cohen's d（平均差に基づく）などの別の効果量を使用する必要があります。
3. 正規近似の前提
Cohen's hは\(arcsin(√p)\)の正規近似を前提としています。母集団比率が極端（0%や100%に近い）な場合、正規近似が成り立たなくなるリスクがあります。
4. 群間の割り付けについて
本ツールでは各群に同数を割り付けることを前提としていますが、実務上は流入ユーザーを均等に分割できない場合があることにご注意ください。