A/Bテストは成果をあげるために効果検証する上で有効な手法です。
しかし、正しく実施をしないと、効果のない間違った結果が出てしまうことがあります。
A/Bテストでやってはいけない４つの過ちについて紹介します。
１. 訪問者数のサイズを知らずにテストを実施する
テストの前に、訪問者数のサイズを計測しましょう。
ここで言うサイズとは、ページビュー数ではなくユニークユーザー数のことです。
また、勘違いされやすいのですが、これはサイト全体でのユニークユーザー数ではなく
テストするページのユニークユーザー数を計測しましょう。
多くのマーケティング担当者は、結果として得られるデータが、統計的に信頼できるかを考えずにA/Bテストをしてしまうことがあります。
「AよりもBのほうがコンバージョン率が高かったからBが良い」という単純な結果だけではなく、
その背景にある統計データに目を向ける必要があるのです、
何回テストすれば得られた結果が統計的に信頼できるかを知るためにも、訪問者数のサイズを把握しておくことが大切です。
２. コンバージョン率最適化の戦略があいまい
闇雲にA/Bテストをやってしまう場合が多くみられます。
テスト対象のページに対して、仮説を立て、その仮説を検証するためのバリエーションを作成し、そしてテストをするというプロセスが必要です。
プロセスを作るためには、戦略が必要です。
戦略を立てることは、設計図を作るようなものです。
設計図を持たず、闇雲にテストしていては運を試すようなものです。それは、ギャンブルと一緒になってしまいます。
闇雲にA/Bテストを行い、その結果に一喜一憂するのではなく
設計図を作り、戦略的にコンバージョン率の向上を目指していくことが大切です。
３. ベストプラクティスをそのまま適用する
A/Bテストの成功事例でよく見るのは
「ちょっとした修正で大きな成果が得られました！」
といったような記事です。
こういった記事に乗せられてはいけません。
なぜなら、
成功事例やベストプラクティスとして紹介されたものを、そのまま自分のサイトに適用しても、同じ成果が得られることはほどんどないからです。
ビジネスによって、ターゲットとする顧客像は違います。
コンバージョン率が向上するページの形も、ターゲット顧客によって異なるはずです。
ベストプラクティスを自分のサイトに適用しただけで満足せずに、必ず「自分の顧客には効果があるか」を検証しましょう。
成功事例やベストプラクティスで紹介されている内容は、あくまで仮説のひとつとして捉えることが大切です。
４. データよりも上司の意見に耳を傾ける
これは企業の大小に限らずよくあることです。
上司の経験に基づく意見をもとにテストが左右されてしまうことは避けなければいけません。
せっかく、テストが実施されて、コンバージョン率が向上した良いページの形が見つかったとしても、影響力を持つ人がそれを気に入らないという理由だけで、改善されないままでいるケースが意外にも多いです。
A/Bテストを含むコンバージョン率最適化では
そういった人が持つ影響力は排除し、淡々とデータをもとに「一番効果のある形」を探していくことが大切です。
