ABテスト実施時に気をつけたいことメモ
growthhack.hatenablog.jp
この記事でまとめた資料の中の一つ、
🌐A/B Test Planning : How to Build a Process that Works
から、ABテスト実施時に気をつけたいことをまとめました。
本当はもっと色々かいてあったんですが、私がしらなかったこと/改めて意識したいなと思ったことを抜き出して書いています。
A/Aテストをしよう
ABテストや多変量テストを実施する前に、AAテストを実施しましょう。
AAテストの結果が同じなことを確認して、ツールが正しく機能しているのを確認します。
所感
これ確かにあんまりやらないんですけど、大規模なABテストや多変量テストをやるときは絶対事前にやっといたほうがいいですね。
良いABテスト案の判断軸
良いABテストは、下記の条件をより多く満たしています。
インパクトが出る良案でABテストをしましょう。
良い案の条件
- ユーザーがスクロールしなくても見つけられる位置にある変化か？ →スクロールなしで見つけられる箇所にある方が、より多くの人に見てもらえます。
- 2案を見比べたとき、5秒以内に違いが見つけられるか？ →わかりやすい変化じゃないと差分が付きづらいよね。
- 何かを加えたり削除したりしているような施策か？ →色や文言を変えるよりも、コンテンツや機能をつけたり消したりするほうが効果は大きいよね。
- トラフィックが多いページで実施されているか？ →トラフィックが少ないところで改善しても、そもそも影響を与えられる母数少ないよね。。
所感
一覧にしてみるとそりゃそうだな、という感じはあるものの、客観的にチェックできる項目になりそうです。
