コンテンツマーケティング広告・集客

A/Bテストとは?そのメリットと失敗例、改善のためのポイント

A/Bテストとは、広告文や画像、UIに2つ以上の選択肢を用意して、それぞれ入れ替えながら効果を比較・検証することで、より効果の高いバリエーションを判断するテストです。
A/Bテストのメリットと、陥りがちな失敗例、そしてより効率的なA/Bテストに役立つ、ユーザーインサイトから仮説を立てる手法についてご紹介します。

 

A/Bテストのメリットは?

 

A/Bテストは最小限のトライ&エラーで、成果を実数として比較しながらノウハウを蓄積できる、広告やWebの効率の良い改善手法です。
低価格なツールで実装できる上、改善のポイントを絞り込めば、クリエイティブのコストも低く抑えられます。

たとえば ランディングページ 最適化( LPO )で、申し込みのアクションを促すボタン(アイコン)の効果を検証擦るケースで考えてみましょう。
背景色を「赤」と「緑」に変えた時。あるいは、アイコンの文言を「今すぐ購入する」「ご予約はコチラ」に変えた時、それぞれ特定の期間で訪問したユーザーの反応をみながら、どちらがよりCVRが高くなるかA/Bテストを繰り返すことで、デザインの改善や、費用対効果の向上に結び付く有益なデータが収集できます。
また、売り上げに直結するECサイトのリニューアルや改編は、一度に大きく実施すれば、その分失敗したときのリスクも大きくなります。A/Bテストを繰り返し、段階的に改善と分析を繰り返しながら検証のサイクルを回していけば、リスクを回避しながら改善効果を最大していくことにも繋がります。

どちらのパターンが勝った、という結果を測定することも重要ですが、「なぜ、その表現に変えた時はクリック率やコンバージョン率が変わるのか」という本質的な分析も重要です。
具体的な数値で成果が可視化される効果検証を繰り返すことで蓄積されたノウハウをベースとして、更なるA/Bテストの施策を実施しながら PDCA のサイクルを回していきましょう。

 

A/Bテストの落とし穴

異なる複数の選択肢か、成果に結びついた割合を比較しながら、より効果的な施策を選べるA/Bテスト。
ですが、場合によってはテストが成果に結びつかない、あるいは成果を下げることになるケースも指摘されています。A/Bテストでうまく成果が出ないとき、陥りがちな3つの失敗例と、その対策をご紹介します。

【十分なサンプルを調査する】

まず、A/Bテストの結果を正しく評価するには、統計的に意味のあるサンプル数まで到達しなければ、定量的に信頼性の高いデータを獲得することはできません。
一部のデータを抽出したサンプリング調査では、数字の偏りを意味のある偏りなのか、また、誤差でもこれくらの差は生じるのかを判断するために「カイ二乗検定」という分析手法が用いられます。
商品やサービス、サイトの特性により基準は変わりますが、A/Bテストツール「Optimizely」が無償で提供しているサンプルサイズカリキュレーターなどを活用して、一般的に必要となるサンプル母数のおおよその平均値は事前に把握しておきましょう。

【マクロな視点を失わない】

また、「○○にするとCTRが上がる」「○○に変えるとCVRが高まる」という、毎回のA/Bテストの数字を追って、より効果の高いパターンを繰り返し選択していくことは、それぞれのテストで効率が低いと判断された 見込み客 層を切り捨てる先鋭化にも繋がります。
たとえば「品質」と「価格」のそれぞれを希求するキャッチコピーを用意して、ファーストビューの直帰率を測定したとき、「品質」を重視したほうが効率が良い、という結果が出たとしましょう。しかし、品質重視のパターンだけを作り続ければ、価格重視で商品やサービスを探しているユーザー層に対するアピールは当然弱まり、先細りを生むことにもなりかねません。
新規顧客の獲得で伸び悩んだときは、過去に「効率が悪い」と切り捨てた選択肢をもう一度見直すような、マクロな視点を持つことも大切です。

【短期的な成功・失敗に囚われない】

ユーザーの反応が即座に現れるのがA/Bテストの大きなメリット。
ですが、短期的な数値の変動に気を取られ、本来得ることができるはずの長期的な成果を見逃しやすいことも、A/Bテストで陥りがちな失敗例として挙げられます。
一時的に成果が落ちたように見えても、ユーザー数の増加や加えられた変更に対するユーザーの慣れが、後から成功に転じるケースは珍しくありません。
身近な例でいえば、Word、ExcelなどビジネスソフトのOffice 2007で、それまでのメニューやツールバーに替わるユーザーインターフェースとしてリボンが登場したときは、否定的な意見が多くみられました。しかし、ほとんどのユーザーが使い慣れた今となっては、「あって当たり前」の機能として受け入れられています。

また、広告文の変更やバナーデザインの変更で一時的にクリック率が向上しても、その先にある商品やサービスとの関連が薄ければ、ユーザーの期待を裏切り最終的なコンバージョン率が低下するケースも見受けられます。A/Bテストで得られた成果で、成功、失敗の評価を誤らないためにも、長期間のテストを続けること、多角的な視点で成功を評価することも求められます。

 

A/Bテストの施策を考える上で役立つ「ユーザー理解」をサポートするMindPick

 

ターゲットユーザーがその商品やサービスに何を求めているのか、その インサイト(本音)を理解し、それに応える選択肢を用意することが、A/Bテストの効率をより高めていくことに繋がります。
月間1億UUにおよぶユーザーのweb行動データから、顧客の意識の変化をいち早く捉える「MindPick」は、A/Bテストでより効果の高いデザインや文言の変更案を考える大きなヒントを与えてくれるマーケティング分析ツールです。

自社の商品やサービスに興味・関心のあるユーザーの層がわかれば、デザインの変更案やユーザーの心に響く広告文案も、チームの中で明快な指針をもって定めることができます。
MindPickのマーケットユーザー分析は、特定のキーワードに興味・関心のあるユーザーのプロフィールを可視化する機能です。
定量的なデータから導き出された自社の顧客層は、ビジネス層なら誠実さを感じるカラーリングや広告文を、主婦層には親しみやすさや安心感を前面に出したデザインを。より効果の高い施策を比較するA/Bテストの方向性を打ち出すうえで、大きく役立つデータとなるでしょう。

 

 

また、MindPickはユーザーが検索窓に打ち込む検索クエリに加え、悩みや疑問を解決するために大手質問サイト「教えて!goo」を閲覧した行動データを保有しています。
ユーザーがどんな疑問や興味を抱いて商品・サービスを検索しているかがわかれば、比較すべき施策の方向性も固まり、より効率的なA/Bテストを繰り返すことも可能です。

A/Bテストをするべき対象は、枚挙にいとまがありません。ですが、どの部分を、なぜ変更するのか、ターゲットを絞ってテストを繰り返すことができれば、より効率的な改善も可能になります。
MindPickは、ただいま無料トライアルも実施しています。
ビッグデータ に基づくユーザー理解を、小さな改善を積み重ねて大きな成果を導き出すA/Bテストの効率化に、ぜひお試しください。


14日間無料トライアル実施中

MindPick(マインドピック)の無料トライアルはこちらから。
ぜひお試しください。