ABテスト分析ツール

データ入力

コントロール群（A群）

テスト群（B群）

ABテスト分析について

頻度主義的アプローチ

頻度主義的アプローチは、従来の統計的仮説検定に基づく手法です。帰無仮説「群間に差がない」を設定し、観測されたデータがこの仮説の下でどの程度稀な事象かを評価します。

2標本比率の差の検定
\[z = \frac{\hat{p_1} - \hat{p_2}}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_1} + \frac{1}{n_2})}}\] \[\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}\]
2標本平均の差の検定（Welchのt検定）
\[t = \frac{\bar{x_1} - \bar{x_2}}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}}\] \[df = \frac{(\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2})^2}{\frac{(s_1^2/n_1)^2}{n_1-1} + \frac{(s_2^2/n_2)^2}{n_2-1}}\]
効果量 サンプルサイズ設計
p値と仮説検定 信頼区間

分析結果

基本統計

統計的検定結果

視覚化

実務的解釈

注意事項

頻度主義的アプローチの注意点
  • 多重比較問題: 複数の検定を行う場合、偶然有意になる確率が高まります
  • サンプルサイズ依存: サンプルが大きすぎると実務的に意味のない小さな差でも有意になります
  • p-hacking: 有意な結果が出るまで分析を続けることは避けてください
  • 効果量の重要性: 統計的有意性だけでなく、実務的な意味のある差かを確認してください