A/Bテストで良い結果が出なかったときにチェックすべき項目

A/Bテストをやってみると、良い結果が出ないことがよくあります。
「きっとコンバージョン率が上がるはずだ」
と自信のあるテストならなおさら、良い結果が出ないとガッカリしてしまいます。

しかし、全てのテストがうまくいくとは限りません。
大切なのは、良い結果がでなかったテストを「失敗」と捉えるのではなく
ノウハウのひとつとして捉えることです。

そう考えると、テストを行えば行うほどノウハウが蓄積され、着実にコンバージョン率向上へ向かっていきます。
良くない結果をノウハウにするための第一歩として、良い結果が出なかったときにチェックすべき項目を紹介します。

仮説は適切か

A/Bテストは、仮説を検証する手段です。

質の高いA/Bテストを行うためには、質の高い仮説を立てることがとても大切になります。

的外れな仮説を立てていなかったかチェックしてみましょう。
的外れな仮説を立てても、的外れな結果しか得られません。

仮説を立てるには「LIFTモデル」という考え方を活用することをおすすめします。
詳しくは「良質な仮説づくりのためのフレームワーク「LIFTモデル」」に書いてありますので、参考にしてみてください。

テスト期間は十分だったでしょうか。
テストサイズ（テストユーザー数）に比べ、テスト期間が短いと、統計的に信頼性が薄い結果になってしまいます。
適切なテスト期間を算出するのに便利な無料ツールを紹介します。

A/B Split and Multivariate Test Duration Calculator
必要項目を入力することで、テストに必要な期間を自動計算してくれます。

また、テスト期間は最低一週間以上にすることをおすすめします。
これは、曜日要因を考慮するためです。

ビジネスの市場によって違いはありますが、平日と週末でコンバージョンの傾向が違う場合があるからです。
また、一般的な給料日（月末など）をまたぐと、コンバージョン率の傾向が変わることもよくあります。マーケットや、ターゲット顧客によって、テスト期間が適切か確認しましょう。

A/Bテストでは、１つのページにおいて２種類以上のバリエーションを比較します。
このとき
オリジナルページを、コントロールページ
他バージョンのページを、バリエーションページと呼びます。

コントロールページとバリエーションページの差は、明確でしょうか。
あまりに小さな差だった場合、小さな結果しか得られません。
大胆な変更は、大きな結果を生みます。

特にA/Bテストの導入初期の場合は、大胆な差をつけてテストをすることをおすすめします。

良い結果が得られない理由のひとつとして、ターゲット顧客とマッチしていないということが考えられます。以下のような質問について、チェックしてみましょう。

・ターゲット顧客のニーズに合ったテスト内容でしょうか？
・ベネフィットを表現していますか？
・広告経由での流入の場合、広告の内容とマッチしていますか？

また、ヒートマップを導入している場合は、ヒートマップの結果を見ることでテスト内容が適切かどうかを確認することができます。ヒートマップとは、ページ上でクリックされた部分を視覚的に確認できるツールです。

ページ内のテスト箇所が注目されていない場合は、仮説自体が適切でない場合があります。仮説立案のフレームワーク「LIFTモデル」などを参考に、適切な仮説を立て直してみましょう。

稀に、テストツールの設定が間違っていることが、良いテスト結果が出ない原因の場合があります。
各テストツールの公式サイトを確認して、設定が正しいか確認しましょう。

正しく設定できているか確認する方法のひとつとして、A/Aテストがあります。
A/Aテストとは、コントロールページとバリエーションページで、一切の差をつけていないでテストをすることです。同じページでコンバージョン率をテストするので、テスト結果は、同じまたは小さな差になるはずです。

テストツールの有用性を確かめるためにも、テストツール導入時にA/Aテストをすることは有効な手段です。

チェック項目を紹介しましたが、注意していただきたいのは、これらのチェック項目は、良くない結果の原因を探すためのものではありません。単なる「失敗したテスト」として終わらせないためのチェック項目です。

良い結果が出なくてもあくまで結果は結果として捉え、今後のためのノウハウにしようとする考え方が大切です。