№36 (26-08-2016). Если трафика мало… Как тестировать?

Масса клиентов, заходящих к нам в агентство, задают этот вопрос: как тестировать изменения на сайте, если трафика с гулькин нос, а руки чешутся. В какой-то момент мы поняли, что тема бешено популярна, и написали что-то вроде инструкции для тех, кто собирается «повторить в домашних условиях».

Понятно, что агентства недвижимости в сегменте «люкс», у которых на сайте 100 уникальных пользователей в сутки, но очень сладкий барыш с одного клиента, вряд ли будут самостоятельно штудировать функции нормального распределения — скорее всего, они потратятся на специалистов. Но владельцы небольших интернет-магазинов, работающих в условиях высокой конкуренции, вполне могут воспользоваться этими методами.

Сразу оговоримся, вопрос глубокий. Поэтому посвятим теме целых два выпуска. Сегодня мы должны убедитесь, что вашего трафика действительно не хватает для проведения A/B-тестирования. Может, вы драматизируете? И вторая повестка дня — разобраться, действительно ли дело в трафике?


Как определиться с лимитом


Назовем очень примерный показатель в 5 тысяч уникальных посетителей в неделю на страницу. Эти данные можно выявить в ходе математических рассуждений и формул. Не будем здесь углубляться в статистику и воспользуемся калькулятором Эвана Миллера для определения объема выборки.

Чтобы рассчитать необходимое число измерений, нужно задать в калькуляторе четыре параметра:

• текущее значение конверсии варианта A (например, старый вариант страницы, которую вы хотите заменить);

• предполагаемое изменение конверсии — разница между значениями конверсий вариантов A и B (предполагаем на основе анализа отвалов в Google Analytics с учетом серьезности планируемых изменений);

• две вероятности ошибок (как правило, их значения в стандартном интервале — 10% и 20%).

Вот что получится у нас, если уровень конверсии равен 1%, предполагаемое изменение в конверсии равно 0,4%, вероятность ошибок закладываем как 20% (значение бета) и 10% (значение альфа). Желаемая длительность теста составляет около двух недель — в этом случае рынок не успеет измениться. Тогда калькулятор нам сообщит, что необходимо набрать примерно 10 тысяч. Умножаем на число вариаций (2 — вариант А и B) = 20 000 посетителей. При существующем числе посетителей в 10 тысяч за неделю за две недели мы как раз сумеем набрать 20 тысяч посетителей.

evan.png

Если меньше, то тестирование грозит затянуться — понадобится не меньше трех недель, чтобы получить статистически значимые результаты. Грамотно рассчитать тестовый период помогут те же калькуляторы, например, VWO. Этот сервис рассчитывает период примерно по тому же принципу, что и калькулятор Эвана Миллера. Только VWO считает не количество посетителей, а число дней, в течение которых надо проводить тест.

Лавируя между калькуляторами, учтите главное: чем больше вариантов страницы вы хотите протестировать, тем больше трафика вам понадобится.


Недостаток трафика — это не проблема сама по себе


Определяющим является число целевых действий (конверсий), совершаемых на исследуемой странице. Перед тем, как приступить к A/B-тестированию, вы должны выбрать, что считать успехом. Чем меньше «успехов» у вашего сайта, тем длиннее будет тестовый период. Для запуска простого варианта A/B-тестирования на вашем сайте должно совершаться не меньше 500 конверсий в неделю — по 250 на каждый тестируемый вариант.

Посмотрим, откуда взялись эти показатели. Большое число желаемых конверсий связано с таким понятием в статистике, как нормальное распределение чисел. Не углубляясь, скажем, что уровень конверсии должен быть не меньше 1%, иначе величина сравнится со значением погрешности. Тогда наше распределение расползется по координатной оси, и не будет понятно, где же на самом деле находится его среднее значение (возможное среднее значение на рисунке).

А когда у нас довольно большой уровень конверсии, тогда и распределение узкое, и среднее значение определяется точнее. Исходя из предположения, что на сайте было 10 тысяч посетителей в неделю, при 500 конверсиях в неделю мы получаем конверсию в 5%. Если коэффициент будет сильно меньше, тогда и отделить одно распределение от другого станет существенно сложнее.

raspred.png

Предположим, нет у вас этих 500 конверсий в неделю.

Другой вариант: количество ваших конверсий по одной из страниц должно разительно отличаться от этого числа по другой странице. Например, 20 против 40 подойдет — в этом случае можно получить адекватные результаты A/B-теста. Если в результате тестирования процент конверсии у одного из вариантов возрастет в 1,5 или даже в 2 раза, то отделить одно распределение от другого не составит труда. Если ваш коэффициент конверсии небольшой, не печальтесь — создайте настолько отличимый дизайн сайта, чтобы это значение увеличилось заметно.


Трафика достаточно, а конверсий мало


В этом случае попробуйте изменить определение конверсии на что-то более часто повторяющееся. Например, клик на конкретную вкладку на сайте вместо помещения товара в корзину или оплаченной регистрации. В VWO в качестве цели вы можете использовать такой параметр, как вовлеченность — клик на любой элемент с сайта.


Объем трафика для мультивариантного тестирования


Мультивариантное тестирование представляет собой усовершенствованный A/B-тест, при котором вы можете сравнивать эффективность разных вариантов страниц с большим числом разных изменений на каждой. Такое тестирование потребует в разы больше трафика, потому что каждую страницу нужно будет показать одинаковому числу пользователей для достижения статистической значимости.

Предположим, мы тестируем три версии двух элементов дизайна (два разных цвета для трех разных кнопок). То есть вместо привычных пяти тысяч в неделю нам потребуется 3^2*5 000 = 45 тысяч. Но это еще не все. Помните про вероятность ошибки? Так вот, если при данной выборке вероятность одной из ошибок была равна 10%, то при тестировании двух цветов для трех кнопок (на соразмерном количестве трафика для двух вариантов) мы получим такую вероятность ошибки:

1 - (100%-10%) *(100%-10%)*(100%-10%) = 27%.

27% неприлично больше приемлемых 10%. Вывод: надо значительно увеличить трафик, чтобы снизить влияние этой ошибки. Ну а если у вас недостаточно трафика для обычного A/B-тестирования, то мультивариантное тем более будет недоступным для вас.

Все, давайте устроим перерыв. Следующий выпуск посвятим конкретным методам получения статистически значимых результатов. Признаться, в их разработке аналитики проявили недюжинную смекалку.

Если ждать новой рассылки мочи нет и хочется разобраться со всеми решениями для вашего сайта прямо сейчас, напишите нам. Хотя бы через форму заявки. Только пометьте в комментарии, что именно вас волнует.

Версия для печати

Вернуться ко всем статьям