A/Bテストを始めようとする際に、期間やテストユーザー数をどうやって決めたら良いか迷ってしまいがちです。
ウェブサイトの性質や、市場の規模、などによってそれぞれ異なります。
今回は、テスト期間とテストユーザー数の決め方について共有します。
テスト期間
A/Bテストは１回実施して終わりというものではありません。
「仮説→テスト→分析」を何度も繰り返すことで、コンバージョン率の向上を目指すものです。
一度の「仮説→テスト→分析」の実施を「１回転」と言うことにすると
１回転の期間はどの程度が最適でしょうか。
１回転につき、最低１週間をテスト期間とすることをおすすめします。
ビジネスによりますが、曜日によってコンバージョン率に違いが出ることが多いです。特に平日と週末で違いが出やすいです。
曜日要因をテスト結果に反映させるために、１回転のテストは、１週間以上を目安として設定しましょう。
ツールを使って期間を算出する
訪問者の規模や、目標とするコンバージョン率などを入力することで、最適なテスト期間を算出できるツールを紹介します。
Wingify社が提供する無料ツール「A/B Split and Multivariate Test Duration Calculator」です。
利用方法はいたってシンプルです。
それぞれの項目に数値を入力して、ボタンをクリックすると、自動計算して最適なテスト期間を表示してくれます。
テストユーザー数
次にテストユーザー数です。
ここで言うテストユーザー数とは、ユニークユーザー数（UU数）のことになります。
ページビュー数（PV数）ではないので注意してください。
市場の規模によって異なりますが、目安となるユーザー数は、１ページにつき2,000UUです。
2ページで比較しているなら、2 x 2,000 = 4,000UU が必要ということになります。
これは、統計的に信頼できる結果を得るために必要な数と考えてください。
先ほど紹介した、期間計算ツールを利用して、現在のUU数で必要なテスト期間を設定することをおすすめします。
まとめ
A/Bテストは、統計の要素が多分に含まれます。
コンバージョン率が5%向上したといっても、統計的に信頼性が低ければ、意味がありません。統計的に信頼性が低いというのは、テストの度に結果が変わってしまう可能性がある、ということです。
信頼性の高い結果を得るためには、適切なテスト期間とユーザー数の設定が必要です。
今回紹介したツールも活用して、ぜひ意義のあるA/Bテストにしていきましょう。
