ロカラボは日本のモノづくりを全力で応援する会社です

メイドインジャパンを盛り上げる

・AI/IoT/RPAの導入支援
・地に足のついたムダのない適切な技術活用
・大手にはできない柔軟性と親身な対応

御社の価値を最大限に引き出し一緒に成果を出していく一歩を踏み出しませんか?

詳細はこちら

意義あるA/Bテストのための、テスト期間とテストユーザー数の決め方

ウェブマーケティング

A/Bテストを始めようとする際に、期間やテストユーザー数をどうやって決めたら良いか迷ってしまいがちです。
ウェブサイトの性質や、市場の規模、などによってそれぞれ異なります。
今回は、テスト期間とテストユーザー数の決め方について共有します。

テスト期間

A/Bテストは1回実施して終わりというものではありません。
「仮説→テスト→分析」を何度も繰り返すことで、コンバージョン率の向上を目指すものです。

一度の「仮説→テスト→分析」の実施を「1回転」と言うことにすると
1回転の期間はどの程度が最適でしょうか。

1回転につき、最低1週間をテスト期間とすることをおすすめします。

ビジネスによりますが、曜日によってコンバージョン率に違いが出ることが多いです。特に平日と週末で違いが出やすいです。
曜日要因をテスト結果に反映させるために、1回転のテストは、1週間以上を目安として設定しましょう。

ツールを使って期間を算出する

訪問者の規模や、目標とするコンバージョン率などを入力することで、最適なテスト期間を算出できるツールを紹介します。
Wingify社が提供する無料ツール「A/B Split and Multivariate Test Duration Calculator」です。

ABテスト期間計算ツール

利用方法はいたってシンプルです。
それぞれの項目に数値を入力して、ボタンをクリックすると、自動計算して最適なテスト期間を表示してくれます。

テストユーザー数

次にテストユーザー数です。
ここで言うテストユーザー数とは、ユニークユーザー数(UU数)のことになります。
ページビュー数(PV数)ではないので注意してください。

市場の規模によって異なりますが、目安となるユーザー数は、1ページにつき2,000UUです。
2ページで比較しているなら、2 x 2,000 = 4,000UU が必要ということになります。

これは、統計的に信頼できる結果を得るために必要な数と考えてください。
先ほど紹介した、期間計算ツールを利用して、現在のUU数で必要なテスト期間を設定することをおすすめします。

まとめ

A/Bテストは、統計の要素が多分に含まれます。
コンバージョン率が5%向上したといっても、統計的に信頼性が低ければ、意味がありません。統計的に信頼性が低いというのは、テストの度に結果が変わってしまう可能性がある、ということです。

信頼性の高い結果を得るためには、適切なテスト期間とユーザー数の設定が必要です。
今回紹介したツールも活用して、ぜひ意義のあるA/Bテストにしていきましょう。