2015年7月16日、A/Bテストツールを提供するOptimizelyとリクルートホールディングス、イー・エージェンシーの3社共同でセミナーを開催しました。
【国内初お披露目/翻訳あり】Optimizelyパーソナリゼーション発表記念セミナーのレポートです。
この記事の目次
第一部「リニューアルは時代遅れ！成果を確実に上げるためのA/Bテスト実践講座」（60分）
講師：野口竜司 （株式会社イー・エージェンシー取締役/Optimizelyエヴァンジェリスト）
イー・エージェンシーは、「国内トップクラスのA/Bテストエージェンシー」です。2014年に当社が関わったテスト本数148本行いました。
そんな弊社がこれまでA/Bテストを積み重ねてきた経験から「確実に成果を積み上げるA/Bテスト改善PDCAプロセス」について具体的な方法を紹介いたしました。
会場内でA/Bテストについてアンケート
A/Bテストをやったことがあるという人は？
７割でした。
A/Bテストで１０％以上成果を上げた事があると人は？
３割でした。
３０％以上成果を上げた事がある人は？
３０％以上成果を上げたことのある人は、
１割でした。
会場のアンケート結果
A/Bテストをやっているが
“意外と結果が出ていない”企業が多い印象でした。
A/Bテストを成功させるためのポイント
A/Bテストツール導入のポイントを説明していきます。
テストフロー、担当、会議この３つが大事
この３つがしっかりしていないとツールを導入しただけで終わることが多いです。A/Bテストから本番化までの流れをしっかり決めることでA/Bテストの成果が出やすくなります。
テストをする前に大切な事
テストを始める前に大事なのがユーザ調査です。仮設や計画をしっかり作るのがA/Bテストで成果を出すコツです。
テスト成果の勝利の方程式
改善ポテンシャル × 仮説の強さ
どの課題に対してテストをすべきかを上司の好みでテスト箇所を決めていませんか？
弊社では、解析データから改善のポテンシャルが高い部分を探しだします。
改善ポテンシャルの高い部分を探す方法
改善ポテンシャルが高いポイントを見つけるのには、ユーザ調査が大切です。課題発見をしっかり行なうことで思いつきテスト実行を防ぐことができます。
ユーザー調査の種類は、パーツ単位、ページ単位、サイト単位、サービス単位などがあります。
そろぞれのデータをユーザー調査やアクセス解析からKPIマップを作ります。
アクセス解析＋KPIマップでビジネス構造を可視化
アクセス解析データから思い切って重要な指標（KPI）に絞ります。
ビジネス構造にそってマッピングをし、フローチャートにします。こうすることでページ毎の前後関係を可視化します。
ビジネスインパクトがある場所をアクセス解析とKPIから作成することで、どこがボトルネックなのかを解析データから見えるようにすることが重要です。コンバージョンだけを見るのではなく改善する伸びしろがあるのかを見つけることが大事です。改善していく順番は、改善ポテンシャルが大きい物をやります。
改善ポテンシャル
大きい＞小さい
改善する順番
先にやる→後でやる
Google アナリティクスのセグメント機能を使って可視化
Google アナリティクスならセグメント機能をつかって分析しています。Googleアナリティクスのセグメント機能を使い、どんなユーザの行動を可視化すべきかなのかを絞る事が出来ます。
Google アナリティクスのセグメント機能からわかるサンプル
・離脱がもっとも多いページは？
・購入完了したユーザーがよく見るコンテンツは？
・LP経由ユーザーCVゴールデンルートは？
Google アナリティクスのセグメント機能を使いKPIに直結するデータをフローチャートにします。
フローチャートにする事でどの部分を改善するのが良いのか判断できます。
おすすめの解析方法「ヒートマップでの調査」
ヒートマップでの調査は有効です。
見て欲しいのに見られていない要素がある場合、クリックヒートマップやアテンションヒートマップからどの課題に対してテストすべきかをパーツ単位で定量的に導き出す事が出来ます。
弊社では、ヒートマップのPtengineとA/BテストのOptimizelyを連携させページスクロール率が高まったのか、見せたいゾーンまで見られるようになったのかを定量的にテストをしています。
参考リンク：ヒートマップ付きアクセス解析ツール | Ptengine
仮説の強さについて
仮説をより強いものにするには、定性的テストがオススメです。
定性的テストについて
定量的テストだけでは、生の声が見つけられません。定性的テストでどこを変えたら良いのかをユーザーの生の声から課題を発見します。そのデータを仮説に肉付けするのをおすすめしています。
コピーライトを変えたりするのは、定性的テストがオススメ
ユーザビリティー調査
スマホの画面ならカメラで撮影し使いながら感じたことをユーザに話をしてもらい、動画を見ながらユーザの気になる部分を見つけ出します。
お金も時間もかかる定性的テスト
ユーザビリティー調査はたしかに素晴らしいです。しかし、やるにはお金も時間もかかります。専門家やプロ視点で各ページのユーザーインターフェースの良し悪しを把握し、ユーザビリティテスト・ヒューリスティック評価などを通じて改善していきます。
定量的テストと定性的テスト
定性的調査で生の声を見つけ出し、定量的テストで実証していくことをおすすめします。
- 定性的分析 → アクセス解析（Googleアナリティクス など）
- 定量分析 ＋ 定性的分析 → ヒートマップ分析 (ptengine など)
- 定性的な分析 → アイトラッキング や ユーザーテストによる分析
テストの優先度について
改善ポテンシャルの大きさ × 有効な仮説 × 改善コスト
改善ポテンシャルの大きさ
改善ポテンシャルが大きい場所ほど優先的にテストをすべきです。
有効な仮説
有効な仮説が立てられればテストすべきです。
改善コスト
改善費用が高さで実施出来ないのであれば、費用を抑えて素早くテストを始めることが大切です。
本番までのテストフロー
A/Bテストする箇所が決まりましたら、本番までのテストフローを固めます。
誰がやるのかを明確に
責任者をしっかり決めないといけません。
1.誰がテストをするのか？
2.どのようにテストを評価するのか？
テストが上手くいったのか上手く行かなかったのかを判断する人や、誰がテストをするのか責任者を決めることが大切です。
外部の会社を含めどんな人が必要か判断し、責任を任せることが重要です。
誰が判断するのかを明確にしてからテストしてください。
例えば、このような判断が必要
どのテストをやるのか？（上司がやるべき！と言ったからやるのでは、ダメです。）
どのように読み取って採用るのか？（会議をし決める場合は、日時も決めます。）
A/Bテストの種類は、１６種類
この記事を書くにあたり、野口からこれはまだ内緒にしたいので一部だけなら紹介していいよと言われたので一部だけ紹介します。セミナーでは、１６種類のテスト方法を詳細に披露していました。テストの方法を明確にテキストとして表現していたので、会場内ではこのテスト方法や手法についてのスライドをスマホで撮影する人が多かったです。
クイックテスト
すぐに出来るテストです。例えば要素を減らすテストなどは、すぐにできます。配置に関するテストがクイックテストとして紹介しました。
ベーシックテスト
足し算によるテストです。新しい要素を置いた時のテスト方法です。今までなかった要素を置くことでサイトを改善する方法です。
アドバンスドテスト
リニューアル前後テスト
複数ページ横断テスト
多変量テスト
セグメント別テスト
フロー改修テスト
機能改修テスト
ネイティブアプリテスト
などを紹介いたしました。（詳細についてはセミナーに来ていただいた人のみ）
A/Bテストの種類を把握し引き出しを増やしておくことが大事
１６のA/Bテスト方法を紹介しました。どのテストを試したらいいのか、引き出しが多いことが成功の秘訣です。
1ラウンド1本勝負だと勝てない
会場アンケートでA/Bテストやった人やったものの成果が出てない人が結構多かったです。
成果が出ないA/Bテストでよくあること
大きく狙いすぎて逆にノックアウト
１度だけのA/Bテストを終わりにしていませんか？
どうやったらA/Bテストを成功させることができるのでしょうか？
テストスピードを上げてラウンド数を増やす事で成功確率が格段にアップ
テスト成果の勝利の方程式の続き
大事なのは、ラウンドの数
ラウンド数を重ねたテストほど成果が着実についてきます。
ラウンド数１回よりも2ラウンドか３ラウンドテストした方がテスト成果が着実についてきます。
最低でも３ラウンド一本勝負の気持ちで挑む複数ラウンドをオススメしています。
先行事例を知ることで自社テストイメージを膨らませよう！
成功事例に学ぶA/Bテストの話をしました。
マイナビニュース様、マーケジン様で実際にやったテストをKPIを元にどのようにA/Bテストをしたのかを具体的に説明しました。
マイナビニュースのA/Bテスト事例
マイナビニュース、Optimizelyを活用したABテストでメディア回遊性をアップ | Optimizely 正規代理店イー･エージェンシー
MarkeZineのA/Bテスト事例
グローバルナビゲーションのレイアウト位置でユーザーの回遊変化を発見！「MarkeZine」サイトでのABテスト事例 | Optimizely 正規代理店イー･エージェンシー
まとめ
リニューアルだけは時代遅れ
- ツール導入で安心してはいけない
- 思いつくままにテストしてはいけない
- ユーザー調査を活用しテスト成果を引きあげる
- A/Bテストの種類分類を理解する
- １回のテストで成果を求めすぎてはいけない
- 先行事例を知ることで自社テストイメージを膨らませよう！
Have a nice TEST!
より良いA/Bテストにつながれば幸いです。
今回のセミナーを活かし、皆様がより良いA/Bテストを
弊社では、Optimizelyの代理店として全力でサポート致します。本日は、A/Bテスト方法や運用方法についてお話させていただきました。
次回：第二部「リクルートでOptimizelyを使いCVRを向上し、月間ユーザー数を58万UUから162万UUにした事例」（40分）
PICK UP
-
実験文化を根付かせる必須条件とは？ ～ 目標の統合・共有と組織の意思統一 -
Optimizely社主催による世界最大のA/Bテストイベント「Opticon 2017」イベントレポート -
実験の重要性と、それを阻む課題 -
タグ: ABテスト, Webマーケティング・構築・運用, Web接客, ニュース, パーソナライゼーション, マーケティングオートメーション
「Optimizely Certified Developer」の公式認定資格を取得しました -
Optimizely、米Forbes誌が選ぶ「2017年世界トップクラウド企業100」にランクイン -
タグ: ABテスト
あなたの見ている数値は“オイシイ数値”ですか？ TechTargetジャパン プレミアムコンテンツDL率改善事例
