ABテストは本当に必要か？

ウェブマーケティング関連の話でいうと、「ABテスト」は必須に近いコンセンサスがあります。ウェブマーケティング関連のメディアでもABテストの話はどこでも出てきますからね。

でも、本当に必須なのでしょうか。実行することでどんなメリットがあるのか。弊社でもABテストが可能な製品をリリースしていたりするんですが、私が考えるABテストの本当のところを書いてみたいと思います。

・その違いが未来の差に繋がる！ABテストを実践していますか？
https://design-plus1.com/tcd-w/2019/02/go-abtest.html

ABテストとは？

まずABテストとは何かと言うと、AとBの2つのパターンの広告（LPでもいい）を用意し、どちらの広告が効果が高いかを検証する作業です。マーケターたちは、それぞれ異なるAとBの広告を試し、統計データから効果が高い方だけを残す。残した広告をさらにAとBに分け、また効果を測定する。そうした検証の繰り返しで広告の精度を上げていくことを日夜やっているわけです。

なお、ABテストはDMではあまり活用されません。なぜなら、ウェブと違いアクセスやコンバージョン、流入経路の測定が難しいからです。つまり、ウェブの特性を活かしたマーケティング手法と言えます。

測定結果から浮かび上がる不可解な事実

では、実際に私がこれまで行ってきたABテストでどういう結果に至ったかをお話します。最近はもうGoogleAdwordsでしかABテストはやっていませんが、昔はLP、メルマガなど様々なシーンでABテストをやっていたものです。

ただ、ABテストを繰り返していると、同じメディアに広告を掲載しているにも関わらず、効果の逆転が起こることがある。例えば、Adwords広告にAとBの広告を掲載している。最初の数カ月はAの方が効果が高かったのでAだけを残した。半年後、Bの広告を復活させるとAの効果を上回り、表示回数も激減した。こういうことが起きるわけです。

他にもアフィリエイターが紹介する用としてLPを2パターン用意する。この2つのページはボタンの色を変えるとか、コピーの一文言を変えるといった小さな差異ではなく、切り口そのものが異なっていたわけですが、最初はAの方が効果が高かった。でも、これまたBが逆転するという現象が起きた。

実はABテストにはこうした不可解なことが起こり得るんです。理由は定かではありません。ただ、感覚的に紐解くと次の要因が絡んでいるように思います。

• 掲載メディアの状況
• 商品、サービスの状況
• 閲覧者の状況
• 他社広告の状況
• 広告の鮮度
• 統計データ量の不足

Adwordsで同じ設定（キーワード、単価、課金量）で広告を掲載しているのに反応が変わってくるのは、最後の統計データの量が不足していることを除き、外的環境の変化が影響しているのではないか。

ABの優劣判断は極めて難しい

例えば、AとBの広告の両方を同じコピーライターが同時期に書いたとする。そうすると文面や切り口がいくら異なっていても基本的には近い目線で書かれたものになる。ここに効果の差異を付けることははっきり言って難しい。つまり、どちらが良くて悪いという判断が難しいのです。状況によってはAの方が反応が高くなるし、Bの方が高くなることもある。

もし恒常的な広告の優劣をはっきりさせたいなら、AとBをそれぞれ別のライターが書く方が分かるというのが私の持論です。その場合、ライターの熱量や商品に対する理解度といったコピーライティングの本質的な部分が変わるので、外的要因以上に大きな変化になるからです。

長期的視点で見よう

仮にAの方が数値が良くて、Bの方が悪い。この結果がずっと継続したとする。じゃあAが良いのかというとそういうことでもないと私は考えています。いくら計測結果が良くても、全体に与える影響がどうなのかを考えなくてはいけません。

例えば、Aの方がアクセス数もコンバージョンも高い。でも、B経由で購入した顧客の方がクレームが少なかったり、顧客満足度が高ければどうでしょうか。広告のみに細かく区切るとAの方が良いという結果になっても、少し時間や範囲を広くとると結果が変わることがあります。

「どうマーケティングするか」は、顧客満足度のようななかなか数値化できないものからブランド価値といったものまで、様々な結果に影響します。これをABテストの数値だけですべて判断するのは視野狭窄と言えるのではないでしょうか。

意外なメリット

というわけで、長々と説明してきましたが、結論はABテストは必ずしもやらなければいけないものではなく、それによって売上が上がるというのは迷信だということです。

とは言え、ABテストにまったくメリットがないかというと、そういうわけではないのです。私は下記のようなメリットがあると思ってます。

• 複数の測定結果は感覚を養う材料となる
• コンテンツが増えることのメリット

ABテストとは言い換えるとトライ&エラーの数を増やすということです。それもAとBで比較検証しながら進められる。売上がプラスに働くかひとまず置いておいても、少なくともマーケターの感覚を養うのに最適なトレーニングになることは間違いない。

私はABテストの為に2つのLPを作ることはありません。そんな時間があるなら、次の製品のLPを書いた方がいいからです。でも、ABテストを真っ向から否定しないのは学びの手段としては有益だからです。有益と言うよりは、登竜門的に必要な手法とすら思います。

次にAとBのLP、2パターンつくるということは単純にコンテンツが2倍になることでもあります。例えば、メルマガ読者に対して今日はAに誘導、明日はBに誘導する。そういった使い分けができる。それによって、別角度から商品の魅力を伝えられるし、鮮度も落ちにくい。

ABテストをやらないのは自信があるから

最後に、私がABテストをやらない理由は何なのか。それは迷いがないからです。「これでいく」となったらそれ一本で勝負する自信があるからです。自分が書き上げた一本の広告、LP、メルマガ。それらに自信があるので、ABテストで迷いを取っ払う必要ない。そういうことなんです。

ただ、それには数多くのトライ＆エラーに加え、結果を出すことが不可欠です。積み重ねの上にある自信だからです。