fbpx
共著書籍「データ分析の進め方 及び AI・機械学習の導入の指南」が出版されました

意義あるA/Bテストのための、テスト期間とテストユーザー数の決め方

ウェブマーケティング

A/Bテストを始めようとする際に、期間やテストユーザー数をどうやって決めたら良いか迷ってしまいがちです。
ウェブサイトの性質や、市場の規模、などによってそれぞれ異なります。
今回は、テスト期間とテストユーザー数の決め方について共有します。

テスト期間

A/Bテストは1回実施して終わりというものではありません。
「仮説→テスト→分析」を何度も繰り返すことで、コンバージョン率の向上を目指すものです。

一度の「仮説→テスト→分析」の実施を「1回転」と言うことにすると
1回転の期間はどの程度が最適でしょうか。

1回転につき、最低1週間をテスト期間とすることをおすすめします。

ビジネスによりますが、曜日によってコンバージョン率に違いが出ることが多いです。特に平日と週末で違いが出やすいです。
曜日要因をテスト結果に反映させるために、1回転のテストは、1週間以上を目安として設定しましょう。

ツールを使って期間を算出する

訪問者の規模や、目標とするコンバージョン率などを入力することで、最適なテスト期間を算出できるツールを紹介します。
Wingify社が提供する無料ツール「A/B Split and Multivariate Test Duration Calculator」です。

ABテスト期間計算ツール

利用方法はいたってシンプルです。
それぞれの項目に数値を入力して、ボタンをクリックすると、自動計算して最適なテスト期間を表示してくれます。

テストユーザー数

次にテストユーザー数です。
ここで言うテストユーザー数とは、ユニークユーザー数(UU数)のことになります。
ページビュー数(PV数)ではないので注意してください。

市場の規模によって異なりますが、目安となるユーザー数は、1ページにつき2,000UUです。
2ページで比較しているなら、2 x 2,000 = 4,000UU が必要ということになります。

これは、統計的に信頼できる結果を得るために必要な数と考えてください。
先ほど紹介した、期間計算ツールを利用して、現在のUU数で必要なテスト期間を設定することをおすすめします。

まとめ

A/Bテストは、統計の要素が多分に含まれます。
コンバージョン率が5%向上したといっても、統計的に信頼性が低ければ、意味がありません。統計的に信頼性が低いというのは、テストの度に結果が変わってしまう可能性がある、ということです。

信頼性の高い結果を得るためには、適切なテスト期間とユーザー数の設定が必要です。
今回紹介したツールも活用して、ぜひ意義のあるA/Bテストにしていきましょう。

【ロカラボからのお知らせ】
自社事業にAIを活用しようとする前にこれだけは押さえておいてください。

【無料ダウンロード】成功するAIプロジェクトに共通する3つの最重要ポイント

事業でAIを活用する企業様が多くなってきました。
弊社でも主に製造業・医療業を中心にAIシステムの開発や導入支援をおこなってきました。

その中で見えてきた、成功するAIプロジェクトに共通する最重要ポイントをまとめたPDFファイルを無料で配布しています。

AI導入プロジェクトをスタートする際には是非ご参考にいただけたらと思います。
こちらのページからダウンロードしてください。

ウェブマーケティングコンバージョン率最適化
シェアする
ロカラボをフォローする
タイトルとURLをコピーしました