ONLINE MANUALAPOLLO Optimize オンラインマニュアル

ABテスト「有意差」とは？結果を正しく判断するには

ABテストは、デジタルマーケティングやWebデザインの改善において、効果的な戦略を見つけるための重要な手法です。しかし、ABテストの結果が偶然の産物なのか、それとも実際の効果を反映しているのかを判断するには「有意差」という指標が欠かせません。

本記事では、ABテストで正しい意思決定を行うために「有意差」と、その判断方法について詳しく解説します。

ABテスト結果の指標「有意差」とは？

ABテストは、マーケティングやWebデザインの改善などで使用される効果的な手法ですが、結果を正しく判断するためには「有意差」が重要な指標になります。

「有意差」とは、ABテストの結果が偶然でなく特定の要因によるものであることを示すための統計的な指標です。これにより、ABテストの結果が実際に有意であるかどうかを判断することができます。

ABテストにおける有意差の定義と重要性

有意差とは、統計的に意味のある差があると認められた差異を指します。具体的には、観測された差が偶然ではなく、特定の要因によって生じたものであることが統計的に証明された状態です。

ABテストにおいては、各パターンの間に有意差があるか確認することで、どちらが優れているかを判断します。有意差の確認は、結果の信憑性を高め、意思決定をより確実にします。

有意差を測るための基本的な概念

有意差を測定するためには、統計学の基本的な概念を理解することが重要です。

帰無仮説（null hypothesis）：2つのバリエーション間に差がないと仮定する
対立仮説（alternative hypothesis）：2つのバリエーション間に差があると仮定する
p値（p-value）：帰無仮説が真と仮定したとき、観察したデータ以上の差が生じる確率

まず、帰無仮説（null hypothesis）と対立仮説（alternative hypothesis）の設定が必要です。帰無仮説は差がないと仮定し、対立仮説は差があると仮定、次にp値（p-value）を計算し、これが0.05未満であれば有意差があると判断します。これにより、観測された結果は偶然ではなく、実際の効果を反映していることを確認できます。

有意差に関する注意点

有意差のデータを信頼性の高いものにするためには、以下の2つの点に注意する必要があります。

ABテストの実施期間を十分なサンプルサイズが確保できる期間に設定すること
一度に複数の要素を変更するABテストを行わないこと

これらの注意点を意識することで、統計的な結果の解釈がより正確になり、データに基づいた効果的な意思決定が可能となります。

ABテストの実施期間を十分なサンプルサイズが確保できる期間に設定すること

有意差を正確に測定するためには、十分なサンプルサイズとABテストの期間が不可欠です。サンプルサイズが小さすぎると、結果が偶然である可能性が高くなります。

理想的には、ABテストの期間は数週間から数か月にわたり、サンプルサイズは数百から数千のデータを収集するべきです。

一度に複数の要素を変更するABテストを行わないこと

ABテストを実施する際、一度に複数の要素を変更するABテストは避けるべきです。なぜなら、複数の要素への変更を同時に行うと、どの要素への変更が結果に影響を与えたのかを正確に特定することが難しくなるからです。

例えば、Webページ内のCTAボタンのデザインとテキストコンテンツの内容を同時に変更すると、どちらの変更がユーザー行動に影響を与えたか判断が困難です。各項目を個別にABテストすることで、結果の正確性と信頼性が向上します。

ABテストの結果を正しく判断する方法

ABテストの結果を正しく判断するためには、p値や有意水準の設定、そして有意差が出なかった場合の対応を適切に行うことが重要です。これにより、結果の信頼性を確保し、ABテストの実施がビジネスの意思決定に有効に活用されることが期待できます。

p値の理解と使用

p値（p-value）は、帰無仮説が正しいと仮定した場合に観測されたデータが偶然に生じる確率です。一般的には、p値が0.05未満のとき有意差があると判断します。「p値が0.05」これは100回同じ実験を行ったら、5%は偶然この結果が出るという意味です。しかし、ABテストの世界ではP値0.05未満という結果はそうそう出るものではありません。なので、P値（0.1-0.2）であれば有意であると考えます。規模の大きなサイトであれば、0.2%のCV向上でも売上などの増加が見込めます。

以下は、実施したABテストを韓方環境に反映するかの判断基準の例です。

判断基準

統計的にも改善の効果も有意である場合：実装
統計的に有意だが、改善の効果が有意でない場合：実装をしない
統計的に有意で、改善効果も有意である可能性が高い場合：実装 or 追加でABテストを実施
統計的に中立で、改善効果も判断不能の場合：追加実験
統計的に無意で、改善効果が有意(恣意的解釈可能)に見える場合：追加でABテストを実施
統計的にも改善効果も有意でない場合：実装しない

「P値0-0.2の範囲でCV数を1%以上押し上げ、かつ本番環境への実装コストに対して改善効果が高い」ABテストであれば、ABテストの内容を本番環境へ反映して良いです。

追加でABテストを実施する際には、仮説が重要になります。
仮説の立て方については以下をご参照ください。
ABテストは仮説が大事！仮説を立てないとどうなるの？

ABテストにおける有意水準の設定

有意水準とは、統計的に有意とする基準値です。通常、5%（0.05）や1%（0.01）が設定されます。有意水準を設定することで、帰無仮説が誤って棄却される確率を制御可能です。

例えば、有意水準を0.05に設定した場合、5%の確率で誤った結論が出る可能性があります。適切な有意水準を設定することで、ABテストの結果の解釈の信頼性が高まります。ABテストに置いては、有意水準を20%(0.2)と基準を設けています。事前に明確な基準を設け、結果の解釈を一貫したものにしましょう。

ABテストの結果に有意差が出なかった場合の対応

実施したABテストの結果に有意差が出なかった場合でも、その結果を無視してはいけません。まず、サンプルサイズやABテストの期間が十分であったかを再確認する必要があります。次に、ABテストの仮説や設計、実行に問題がなかったかを検討し、有意差が出なかった原因を特定し、次回のABテストに反映させることが重要です。

これにより、継続的な改善が可能となり、回を追う毎にABテストの仮説の精度が向上していくので、
有意差が出なかった場合でも、その結果を活かすことで、より良いABテストの実行が可能になります。

ABテストで結果を出す方法については以下をご参照ください。
結果が出る「ABテスト」とは？わかりやすく初心者に解説！

ABテストの結果を正しく判断するには有意差を正しく捉えよう

ABテストにおける「有意差」は、ビジネス上の重要な意思決定を支える鍵となる指標です。ABテストの結果の信頼性を高めるためには、十分なサンプルサイズの確保やABテスト期間の確保、複数の要素を一度にABテストしないことなどを押さえることが重要です。また、p値や有意水準の理解を深め、改善効果の高いABテストの内容を本番環境へ反映しましょう。

オンラインマニュアル一覧