弊社CAO中田吉彦が電通デジタル オウンドメディア事業部が開催したセミナーにパネラーとして登壇いたしました。

電通デジタル オウンドメディア事業部が開催したセミナー「ABテストJAM/CROのプロが語る！『A/Bテストのプロがハマった落とし穴』」。第2部では、正しいA/Bテストを実施してCRO（Conversion Rate Optimization：コンバージョン率最適化）を成功に導くためには何が必要か、4社の代表をパネラーに、弊社好村をモデレーターとしたトークセッションを行いました。セッションの最後には、会場から寄せられた質問に対しても回答。その模様をお届けします。

感性に頼ったクリエーティブA/Bテストは意味がない？

セッションの最後には、会場から寄せられた質問に対しても回答。その模様をお届けします。

岩本氏（アッション）

そんなことはありません。改善の最初のきっかけが、感性に頼った定性データだったとしても、A/Bテストを行うことで定量化できます。まずは施策に取り組むために、PDCAサイクルのD（Do）から始めてみるという意味なら、感性に頼ったA/Bテストもありだと思います。

好村

PDCAのP（Plan）、C（Check）、A（Action）の部分をまったく加味せず、「ボタンを赤色にする」などといった、D（Do）に終始するA/Bテストの事例をよく耳にしますが、こういった手法はどう思われますか？

岩本氏（アッション）

それによって大幅に改善するならよいと思うのですが、そんな簡単に改善しないことが多いので、難しいところです。

好村

弊社でも、「ボタンを赤色に変更したパターン」と「変更しないパターン」を比較するようなA/Bテストを実施することはありますが、「変更したパターン」が勝つケースは少ないです。結局、どのような仮説をもって赤色にしたのか、そして実行した結果、仮説は正しかったのかどうか、その検証をしなければ知見は得られないと思います。
「ボタンを赤色にしたらCVRが改善した」というような成功事例は、1つの結果として参考にしつつも、その結果を100％信じすぎない、というのが重要なスタンスかと思っています。

岩本氏（アッション）

完全に同意です。