こんにちは、荒井（@yutakarai）です。
Google Analyticsを筆頭に、OptimizelyやVWOなどコンバージョン率最適化のためのツールがたくさん出てきました。そのおかげで、A/Bテストが比較的簡単にできるようになってきました。しかし一方で、やり方を間違えているせいでなかなか効果をあげられないケースも増えてきたように思います。
今回は、失敗してしまうA/Bテストの原因について紹介します。
HiPPOを優先してしまう
テストが失敗する大きな理由のひとつに「HiPPO」があります。HiPPOとは「highest paid person’s opinions」の頭文字を取ったキーワードです。直訳すると、「高給取りの意見」となります。
もっと具体的に言うと、社長や上司にあたる人の意見のことをHiPPOと言います。
HiPPOについて「HiPPOに注意」に詳しく書いていますのでよければチェックしてみてください。
実際ほとんどのビジネスの現場では、データに基づいたテストを行っているはずです。しかし、HIPPOによって簡単に意志決定が変わってしまうことが多々あるわけです。
もちろん、社長や部下の意見そのものは大切です。
ただし、ポイントがズレた意見だとしても立場の高い人の意見を優先してしまうのは失敗の原因になることを認識しておかなければいけません。
一見すると無味乾燥とも思えるテストや分析が必要です。
テストサイズが足りない
特に注意しなければならないのは、テストサイズです。
ここで言うサイズとは、ページビュー数ではなくユニークユーザー数のことです。テストの前に、訪問者数のサイズを計測しましょう。
また、勘違いされやすいのですが、これはサイト全体でのユニークユーザー数ではなく、テストするページのユニークユーザー数を計測することがポイントです。
結果として得られるデータが、統計的に信頼できるかを考えずにA/Bテストをしてしまうことがよくあります。「AよりもBのほうがコンバージョン率が高かったからBが良い」という単純な結果だけではなく、その背景にある統計データに目を向ける必要があります。
何回テストすれば得られた結果が統計的に信頼できるかを知るためにも、訪問者数のサイズを把握しておくことが大切です。
テスト期間が短い
テスト期間が短いと、統計的に信頼性が薄い結果になってしまいます。
テストサイズ（テストユーザー数）に比べ、テスト期間が短いと、統計的に信頼性が薄い結果になってしまいます。適切なテスト期間を算出するのに便利な無料ツールを紹介します。
A/B Split and Multivariate Test Duration Calculator
項目を入力することで、テストに必要な期間を自動計算してくれる便利なツールです。
また、テスト期間は最低一週間以上にするようにしましょう。
これは、曜日の要因を考慮するためです。
ビジネスの市場によって違いはありますが、平日と週末でコンバージョンの傾向が違う場合があります。また、一般的な給料日（月末など）をまたぐと、コンバージョン率の傾向が変わることもよくあります。
年末年始やゴールデンウィーク、クリスマスなど特殊な期間にテストを実施している場合は、併せてその時期を外して同様のテストをやって、それぞれのテスト結果を分析しましょう。
マーケットやターゲット顧客によって、テスト期間が適切か確認しましょう。
良質な仮説を立てない
質の高いA/Bテストを行うためには、質の高い仮説を立てることがとても大切です。なんとなく思いついたアイディアだけで適当にテストをするのは非常にムダになります。
的外れな仮説を立てていなかったかチェックしてみましょう。
的外れな仮説を立てても、的外れな結果しか得られません。
仮説を立てるには「LIFTモデル」という考え方を活用することをおすすめします。
詳しくは「良質な仮説づくりのためのフレームワーク「LIFTモデル」」に書いてありますので、参考にしてみてください。
