Две одинаковые страницы и победитель

A/B-тестирование, или сплит-тест, — это сравнение двух вариантов страницы, письма или функции на случайно разделённых посетителях. Чтобы провести тест, выберите одну метрику и посчитайте, сколько людей нужно на вариант. Затем разделите трафик поровну и не смотрите на итог, пока не наберёте этот объём за целое число недель. Верить результату можно, если всё это записано до запуска, группы получились равными, а победа не выглядит слишком хорошей.

Через три дня после запуска в отчёте загорается зелёное «+38%», и тест хочется остановить. Две одинаковые страницы при ежедневном взгляде на отчёт расходятся так примерно в каждом пятом тесте, расчёт ниже. Поэтому A/B-тест начинается с трафика: сначала посчитайте, какую разницу он вообще способен заметить. Ответ часто неприятный, зато экономит месяц.

Сколько посетителей нужно для A/B-теста

Для быстрой оценки хватит правила, которое приводит Эван Миллер в заметке «Как не надо проводить A/B-тест»: на каждый вариант нужно 16 × p × (1 − p) / δ² посетителей. Здесь p — нынешняя конверсия, δ — разница, которую вы хотите заметить, в тех же долях.

Возьмём страницу с конверсией 3%. При тысяче посетителей на вариант тест по этому правилу отличит 3% только от 5,2% и выше, то есть от роста на 72%. При пяти тысячах — от роста на 32%. Чтобы заметить рост на 10%, с 3% до 3,3%, нужно около 52 тысяч человек на вариант, больше ста тысяч на страницу.

От смены цвета кнопки такого роста ждать не стоит: даже у тех, кто тестирует профессионально, большинство идей не выигрывает вовсе. По статье Рона Кохави и Стефана Томке в Harvard Business Review за 2017 год, у Google и Bing положительный результат дают только 10–20% экспериментов. В Microsoft треть экспериментов помогает, треть ничего не меняет и треть вредит. И это команды, которые запускают тысячи тестов и неплохо знают пользователей.

Для вашей страницы то же можно посчитать в любом калькуляторе размера выборки. У Яндекса калькулятор встроен в Вариокуб, сервис экспериментов при Метрике. По справке он считает минимальный заметный эффект (MDE) по посещаемости за месяц, сроку, доле аудитории, числу вариантов и конверсии.

Я бы начал именно с этого: взял бы из Метрики посетителей страницы за четыре недели и её конверсию и посчитал, какую разницу она заметит за месяц. Если выйдет больше 30%, первым тестом стал бы A/A, чтобы проверить сам инструмент. Кнопка подождёт.

Что делать, если для A/B-теста мало трафика

Сайту с парой тысяч посетителей в месяц честный тест на цвет кнопки недоступен. Подгонять такой тест под ответ бессмысленно, ходов получше четыре.

Менять крупно: предложение, цену, длину формы, порядок шагов. Большую разницу малый трафик заметит, оттенок кнопки — нет.

Мерить ближе к началу пути. Нажатий на «Оставить заявку» больше, чем оплат, поэтому на них тест набирает объём быстрее. Только рост нажатий ещё не рост денег: если форма после кнопки стала страшнее, нажмут больше, а дойдут столько же.

Решить без теста. Большинство таких правок обратимы: поменяли, записали, чего ждёте, через месяц сравнили с обычным разбросом прошлых недель. Как отличить такой разброс от настоящего сдвига, разобрано в справочнике про дашборд для руководителя, а как быстро принимать обратимые решения — в справочнике про обратимые решения.

И можно просто спросить людей. Пять разговоров с теми, кто ушёл без заявки, часто объясняют больше, чем месяц теста. Как задавать вопросы, чтобы не услышать вежливое «да», — в справочнике про кастдев-интервью.

Как провести A/B-тест: шаги

1. Запишите одну главную метрику и разницу, ради которой тест имеет смысл. Например: «доля заявок со страницы, хотим увидеть рост с 3% до 4%».
2. Посчитайте объём на вариант и срок. Срок округлите вверх до целых недель: будни и выходные ведут себя по-разному.
3. Если объём не набирается за месяц-два, тестируйте крупнее или решайте без теста.
4. Прогоните A/A-тест: неделю покажите обеим группам одну и ту же страницу. Так видно, делит ли инструмент поровну и не находит ли разницу там, где её нет.
5. Запустите A/B-тест и до конца срока не меняйте ни варианты, ни метрику, ни долю трафика.
6. В последний день проверьте, что группы получились равными, и только потом смотрите на результат.
7. Запишите итог в журнал тестов: что сравнивали, сколько людей, какую разницу тест мог заметить, что вышло и что решили.

Когда результату A/B-теста можно верить

Первое условие — вы не подглядывали. Звучит как придирка, пока не посчитаешь. Для этого справочника мы посчитали на модели 20 000 A/A-тестов. В каждом две одинаковые страницы с конверсией 3%, по 143 посетителя в день на каждую, две недели и проверка значимости раз в день. Хотя бы в один из дней «победитель» нашёлся в 21% тестов. Если смотреть только в последний день — в 5%, как и положено при уровне значимости 5%.

Миллер в той же заметке разбирает худший случай: значимость проверяют после каждого посетителя и останавливаются на первой значимой разнице. В его примере ложная победа тогда случается в 26,1% тестов вместо обещанных 5%. В справке Adobe Target сказано ещё прямее: при постоянном подглядывании A/A-тест рано или поздно гарантированно покажет значимую разницу. Байесовские отчёты с «вероятностью превосходства» от этого не спасают. Алекс Молас посчитал, что остановка на 95% при проверке каждые сто наблюдений даёт 80% ложных побед.

Второе условие — группы равные. Если трафик делили пополам, а пришло 1 100 человек против 900, это почти наверняка поломка: случайно такое расхождение выпадает реже раза на сто тысяч. Обычно виноваты переадресация, кэш или вариант, который у части людей не загрузился. Сравнивать конверсию в таком тесте бессмысленно.

Дальше — срок. Тест должен идти целое число недель, потому что в понедельник и в субботу на сайт приходят люди с разными намерениями. Тест с понедельника по четверг видел неполную неделю, а победитель после внедрения почему-то не повторяет успех.

Метрика одна и выбрана заранее. Если после теста просмотреть двадцать показателей, хотя бы один окажется «значимым» с вероятностью 64% (1 − 0,95²⁰), даже если варианты одинаковые. Дополнительные метрики нужны, чтобы заметить вред, но победителя по ним не объявляют.

И последнее: победа должна быть правдоподобной. Кохави и Томке напоминают закон Тваймана: любая цифра, которая выглядит интересной или необычной, обычно ошибочна. По оценке Кохави с соавторами в «Семи практических правилах для экспериментаторов» 2014 года, настоящий прорыв в Bing случается примерно раз на 500 экспериментов. Если ваш новый заголовок дал +40%, сначала ищите ошибку в подсчёте, а пост об успехе пишите потом.

Если A/B-тест закончился ничьей

Скорее всего, тест закончится ничьей: разница не выйдет за пределы случайности. В Microsoft так заканчивается треть экспериментов, а на маленьком трафике — почти все.

Ничья тоже ответ, если записать её с порогом: «на 5 000 посетителей на вариант разницы больше 32% нет». Фраза «тест не сработал» через полгода превратится в тот же тест, запущенный «на всякий случай». Запись с порогом честнее: вариант не доказал ни пользы, ни вреда в пределах того, что тест мог увидеть. Заодно она подсказывает, что следующую идею стоит брать крупнее, например не кнопку, а само предложение на странице. Как проверить предложение, не переделывая сайт, разобрано в справочнике про проверку идеи продукта.

На маленьком сайте A/B-тест чаще всего сообщает одно: правка слишком мелкая, чтобы её мерить. Это полезно узнать из калькулятора за пять минут, а не из отчёта через месяц.