Полное руководство по A/B тестированию. Советы экспертов Google, HubSpot и других

Вероятно, вы уже слышали об A/B тестировании. Было написано много статей на эту тему. Вполне возможно, что вы даже запустили несколько A/B тестов.

Несмотря на то, что об A/B тестировании уже было сказано очень много, многие маркетологи все еще понимают его неправильно. Результат? Люди принимают важные бизнес-решения, полагаясь на неточные результаты неправильного теста.

Проблема в том, что A/B тестирование часто чрезмерно упрощается, особенно в статьях, написанных для владельцев интернет-магазинов. Прочитайте эту статью. В ней есть все, что нужно знать об A/B тестировании в eCommerce.

Содержание

• Что такое A/B тестирование
• Как работает A/B тестирование
• Что такое A/B/n тестирование
• Как долго должен длиться A/B тест
• Нужно ли проводить A/B тест
• Что именно нужно тестировать
• Приоретизация идей для A/B тестирования
• Краткий курс статистики в A/B тестировании
• Как настроить A/B тест
• Как анализировать результаты A/B теста
• Как архивировать прошлые A/B тесты
• A/B тестирование. Как это делают профессионалы

Что такое A/B тестирование?

A/B тестирование еще иногда называют сплит-тестированием. Оно представляет собой процесс сравнения двух версий одной и той же веб-страницы, чтобы определить, какой вариант работает лучше.

Этот процесс позволяет вам отвечать на важные бизнес-вопросы, получать больше доходов от существующего трафика и создать основу для маркетинговой стратегии, основанной на данных.

Как работает A/B тестирование?

Вы покажете 50% посетителей версию "A" (давайте назовем ее "контрольной"), и вы покажете 50% посетителей версию "B" (назовем ее "вариант").

Выигрывает та версия веб-страницы, которая по факту завершения теста покажет самый высокий коэффициент конверсии. Предположим, что вариант "B" показал самый высокий коэффициент конверсии. Вы объявите его победителем и направите на него 100% трафика. В этом случае "вариант" становится новой "контрольной" версией страницы. Для следующего теста вам нужно придумать новый вариант.

Стоит отметить, что коэффициент конверсии не является совершенной мерой успеха. Почему? Вы можете увеличить коэффициент конверсии мгновенно, сделав в своем магазине все товары бесплатными. Конечно, это ужасное бизнес-решение. Вот почему вы должны отслеживать значение конверсии в течении всего пути, вплоть до звука звенящего кассового аппарата.

Что такое A/B/n тестирование?

Используя подход A/B/n тестирования, вы можете протестировать более одного варианта в сравнении с контрольной версией. Таким образом, вместо того, чтобы распределить трафик поровну между двумя вариантами, вы можете распределить его на столько равных частей, сколько версий вы хотите протестировать.

Примечание. Описанный подход отличается от мультивариантного тестирования, которое также включает несколько версий. Выполнение многовариантных тестов предполагает тестирование не только разных вариантов, но и элементов. Цель состоит в том, чтобы выяснить, какая комбинация работает лучше всего. Вам понадобится очень много трафика для запуска многовариантных тестов, поэтому вы можете пока их игнорировать.

Источник: https://support.google.com/360suite/optimize/answer/6370723

Как долго должен длиться А/В тест?

Дайте A/B тесту поработать один-два полных бизнес-цикла. Не останавливайте тест только потому, что вы получили статистически значимые результаты. Вам также необходимо будет получить заданный размер выборки.

Почему два полных бизнес-цикла?

1. Вы сможете учесть "медленных" покупателей
2. Вы сможете учесть разные источники трафика
3. Вы сможете учесть аномалии. Например, пятничная email рассылка или праздничный всплеск продаж

Если вы ранее использовали какой-либо инструмент для A/B тестирования, вы, вероятно, видели маленькую зеленую иконку "статистически значимый". Для многих, к сожалению, этот знак очначает, что тест можно остановить. Как вы позднее узнаете из краткого курса статистики, статистическая значимость не является триггером для остановки теста.

А как насчет размера выборки? Это не так страшно, как кажется. Откройте калькулятор расчета размера выборки. Например, этот от Эвана Миллера.

Этот расчет говорит, что если ваш текущий коэффициент конверсии составляет 5%, и вы хотите обнаружить 15-процентный эффект, вам понадобится выборка из 13 533 на каждую вариацию. Таким образом, в общей сложности требуется более 25 000 посетителей, если это стандартный A/B-тест.

Смотрите, что произойдет, если вы хотите обнаружить меньший эффект:

Все, что изменилось - минимальный обнаруживаемый эффект (MDE). Он уменьшился с 15% до 8%. В этом случае вам понадобится выборка из 47 127 для каждого варианта. Таким образом, в целом, требуется более 100 000 посетителей, если это стандартный A/B тест.

Размер вашей выборки должен быть рассчитан заранее, т.е. еще до начала теста. Ваш тест не должен быть остановлен до достижения заданной выборки, даже если он достигнет значимости. В противном случае тест недействителен.

Вот почему вы не можете бесцельно следовать "best practice", например "остановиться после 100 конверсий".

Также важно запускать тесты на всю неделю. Ваш трафик может измениться в зависимости от дня недели и времени суток, поэтому вы обязательно захотите включить каждый день недели.

Почему вам нужно запустить A/B тест?

Предположим, вы потратили $100 на рекламу в Facebook, чтобы привлечь десять человек на ваш сайт. Средняя сумма заказа составила $25. Восемь из этих посетителей ушли, ничего не купив, а остальные два потратили по $25 каждый. Результат? Вы потеряли $50.

Теперь предположим, вы потратили $100 на рекламу в Facebook, чтобы привлечь десять человек на ваш сайт. Ваша средняя стоимость заказа по-прежнему составляет $25. На этот раз, только пять из этих посетителей ушли, ничего не купив, а остальные пять потратили по $25 каждый. Результат? Вы заработали 25 долларов.

Это, конечно, упрощенный пример. Но, увеличив коэффициент конверсии на сайте, вы сделали тот же трафик более ценным.

A/B тестирование также помогает вам найти новые идеи. Удачен ваш тест или нет - это не так важно. Например, текст из лучшего варианта в A/B тесте может вам помочь улучшить описание ценности продукта и другие текстовые материалы. Вы также не можете игнорировать ценность фокусирования на постоянном повышении эффективности вашего магазина.

Нужно ли проводить A/B тесты?

Не обязательно. Если у вас мало трафика, A/B тестирование - не самый оптимальный вариант. Возможно, вы увидите более высокий ROI от проведения пользовательского тестирования или общения с клиентами.

Несмотря на распространенное мнение, оптимизация конверсии не начинается и заканчивается A/B тестированием.

Рассмотрим числа из калькулятора размера выборки выше. 47 127 посетителей на вариацию, чтобы обнаружить 8% эффект при базовом коэффициенте конверсии 5%.

Предположим, вы хотите протестировать страницу продукта. Она получит около 100 000 посетителей за две-четыре недели?

Стойте! Почему две-четыре недели?! Помните, что мы хотим запускать тесты, по крайней мере, для двух полных бизнес-циклов. Обычно это длится около двух-четырех недель. Теперь, может быть, вы думаете: "Нет проблем! Я буду продолжлать тест более двух-четырех недель, чтобы достичь требуемого размера выборки". Это тоже не сработает.

Понимаете, чем дольше проходит тест, тем более он восприимчив к внешним вмешательствам. Например, посетители могут удалить свои файлы cookie и снова войти в тест. Или кто-то может переключиться с мобильного на десктоп и увидеть альтернативный вариант. По сути, проводить тест слишком долго - плохой вариант.

Если вкратце, то тестирование стоит инвестиций для магазинов, которые могут достичь соответствующий размер выборки за две-четыре недели. Магазины, которые не могут этого сделать, должны рассматривать другие формы оптимизации, пока их трафик не вырастет.

Что именно нужно тестировать?

Я не могу сказать вам, какую именно идею вы должны проверить с помощью A/B тестирования. Если бы я мог дать вам список из 99 вещей, которые нужно проверить прямо сейчас, это, безусловно, облегчило бы вашу жизнь.

Правда в том, что идеи, стоящие проверки должны быть основаны на ваших собственных данных. У меня нет доступа к вашим данным, вашим клиентам и т. д. И, скорее всего, вы не найдете эти огромные курируемые списки идей для A/B тестов.

Вместо этого я призываю вас ответить на этот вопрос, используя качественный и количественный анализ.

• Технический анализ. Ваш магазин загружается должным образом и быстро в каждом браузере? На каждом устройстве? У вас может быть блестящий новый iPhone X, но кто-то где-то все еще раскачивает Motorola Razr 2005 года. Если ваш сайт работает плохо - это непременно отразится на конверсии.
• Опросы на сайте. Они появляются, когда посетители ходят по сайту. Можно спросить посетителей, которые зависли на одной странице на некоторое время, есть ли что-то, что мешает им совершить покупку сегодня. Если так, то, что это? Вы можете использовать эти качественные данные для улучшения вашего сайта и коэффициента конверсии.
• Интервью с покупателем. Ничто не может заменить живое общение с вашими клиентами. Почему они выбрали ваш магазин? Какую проблему они пытались решить, когда пришли на ваш сайт? Есть миллион вопросов, которые вы могли бы задать, чтобы понять, кто ваши клиенты и почему они действительно покупают у вас.
• Опрос клиентов. Это полноформатные опросы, которые проводятся среди посетителей, совершивших покупку. При разработке опроса вы хотите сосредоточиться на: определении ваших клиентов, определении их проблем, определении колебаний, которые имели место до покупки, и определении слов и фраз, которые они используют для описания вашего магазина.
• Аналитика. Правильно ли настроены ваши инструменты аналитики? Корректно ли отслеживаются ваши данные? Это может прозвучать глупо, но вы будете удивлены, узнав, сколько инструментов аналитики настроено неправильно. Аналитика - это процесс погружения в данные с целью анализа поведения посетителей вашего сайта. Например, вы можете сосредоточиться на воронке. Где она протекает? Это хорошее место для начала тестирования.
• Пользовательское тестирование. Вот где вы можете наблюдать, как реальные люди пытаются взаимодействовать с вашим сайтом. Например, вы можете попросить их найти видеоигру в диапазоне 40-60 долларов и добавить ее в свою корзину. Выполняя задания, они будут озвучивать свои мысли и действия вслух.
• Воспроизведение сеанса. Этот процесс аналогичен пользовательскому тестированию, но теперь вы имеете дело с реальными людьми, реальными деньгами и реальными намерениями покупать. Вы будете наблюдать, как посетители перемещаются по вашему сайту. Почему у них проблема с поиском? В какой момент они теряются?

Существуют и другие виды исследований, но эти семь методов являются хорошей отправной точкой. Если вы воспользуетесь некоторыми из них, у вас будет огромный список идей, основанных на данных и стоящих того, чтобы начать тестирование. Поверьте, ваш список принесет намного больше пользы, чем любая статья типа "99 идей, которые стоит проверить прямо сейчас".

Приоретизация идей для A/B тестирования

Огромный список идей для A/B тестирования является захватывающим, но не совсем полезным в контексте вопроса: что именно тестировать? С чего начать? Вот в чем заключается приоретизация.

Существует несколько общих принципов приоритезации, которые вы можете использовать:

• ICE: ICE (Impact, Confidence and Ease) - влияние, уверенность и простота. Каждый из этих факторов получает оценку от 1 до 10. Например, если вы можете легко запустить тест самостоятельно без помощи разработчика или дизайнера, вы можете поставить "простоте" оценку восемь. Эта оцена основана на вашем мнении. Если вы работаете в команде, подобные рейтинги могут стать слишком субъективными. Решение -  набор правил, которые помогут ставить объективную оценку каждому из пунктов.
• PIE: PIE (Potential, Importance and Ease) - потенциал, важность и простота. Опять же, каждый фактор получает оценку от 1 до 10. Например, если тест потребует 90% вашего трафика, вы можете присвоить "важности" значение восемь. PIE так же субъективен, как и ICE, поэтому набор правил для оценки будет не менее полезен.
• PXL: PXL - этот принцип приоретизации немного отличается от вышеперечисленных и является более гибким, тем самым помогая принять более объективные решения. Вместо трех факторов вы будете использовать вопросы, требущие ответов "да / нет", а также оценку простоты выполнения. 

Теперь вы знаете, с чего начать и как приоретизировать идеи. 

Краткий курс статистики в A/B тестировании

Перед тем, как запустить тест, важно вникать в статистику. Статистика не очень популярна, но думайте об этом, как о курсе, необходимом для роста.

Статистика играет важную роль в A/B тестировании. К счастью, инструменты тестирования упростили работу оптимизатора, но базовое понимание того, что происходит за кулисами, имеет решающее значение для анализа ваших результатов теста.

Среднее значение

Ваша цель - найти среднее значение, которое является репрезентативным для всей выборки.

Допустим, вы пытаетесь найти среднюю цену видеоигр. Вы не собираетесь добавлять цену каждой видеоигры  в мире и делить ее на общее количество. Вместо этого вы сделаете выборку, которая будет представлять все эти видеоигры.

Вы можете найти среднюю цену пары сотен видеоигр. Если вы выбрали репрезентативную выборку, средняя цена этих видеоигр должна быть репрезентативной в контексте всех видеоигр в мире.

Отклонение

Чем выше отклонение, тем менее точным будет среднее предсказание отдельной точки данных.

Итак, насколько близко среднее значение к фактической цене каждой отдельной видеоигры?

Что такое выборка?

Чем больше размер выборки, тем меньше будет отклонение, что означает, что среднее значение будет более точным.

Итак, если вы увеличили выборку с двух сотен видеоигр до двух тысяч видеоигр, то отклонение будет меньше, а среднее значение - точнее.

Статистическая значимость

Предполагая, что нет никакой разницы между A и B, как часто вы будете видеть эффект случайно?

Чем ниже уровень статистической значимости, тем больше вероятность того, что ваш выигрышный вариант не является победителем. Проще говоря, низкий уровень значимости означает, что есть большой шанс, что ваш "победитель" не является реальным победителем (это называется ложным позитивом).

Имейте в виду, что большинство инструментов A/B тестирования сигнализируют о статистической значимости, не дожидаясь достижения заранее указанного размера выборки или точки времени. 

Регрессия к среднему значению

Вы можете заметить крайние колебания в начале вашего A/B теста. Регрессия к среднему - это явление, которое говорит, что если что-то является экстремальным при первом измерении, оно, вероятно, будет ближе к среднему, если изменить снова.

Если единственная причина, по которой вы обращаетесь к тесту, состоит в том, что он достиг статистической значимости, вы можете видеть ложный позитив. Ваш выигрышный вариант, скорее всего, будет переходить к среднему с течением времени.

Доверительный интервал

Предполагая, что существует разница между A и B, как часто вы будете видеть эффект?

Чем ниже доверительный интервал, тем больше вероятность того, что победитель останется нераспознанным. Чем выше доверительный интервал, тем ниже вероятность того, что победитель останется нераспознанным. Действительно, все, что вам нужно знать, это то, что 80% значение доверительного интервала является стандартным для большинства инструментов A/B тестирования.

Внешнее влияние

Существуют внешние факторы, которые угрожают действительности ваших тестов. Например:

• большие распродажи в "черную пятницу" и "кибер понедельник"
• упоминания в прессе
• платная рекламная кампания
• день недели
• сезонность

Например, вы должны были провести тест в течение декабря. Большие праздники означают рост трафика для вашего магазина в течение этого месяца. В январе вы можете обнаружить, что декабрьский вариант работает уже не так хорошо. Почему? Из-за внешнего влияния праздников. Данные, на которых основаны выводы теста, были аномалией. 

Вы не можете устранить внешние факторы, но вы можете смягчить их влияние, выполнив тесты в течение полных недель и помнить о потенциальных угрозах.

Если вы проводите тест во время оживленного сезона покупок, например Black Friday / Cyber Monday, или во время влияния других серьезных внешних факторов, эта статья может оказаться полезной.

Как настроить A/B тест

Прежде чем начать что-либо тестировать, вам нужно иметь твердую гипотезу. Не волнуйтесь, это не сложно. В принципе, вам нужно проверить гипотезу, а не идею. Гипотеза измерима, стремится решить конкретную проблему конверсии и фокусируется на инсайтах, а не на победах.

Вам нужно тестировать гипотезу, а не идею.

Всякий раз, когда я пишу гипотезу, я использую формулу, заимствованную у Крейга Салливана:

• Поскольку я видел [вставить данные / результаты исследования]
• Я ожидаю, что [изменение, которое вы тестируете] вызовет [воздействие, которое вы ожидаете]
• Я буду измерять это, используя [метрику данных]

Легко, правда? Все, что вам нужно сделать, это заполнить пробелы, и ваша идея превратится в гипотезу.

Выбор инструмента тестирования A/B тестирования

Есть много инструментов для A/B тестирования. Самые известные, наверное: Google Optimize, Optimizely и VWO. Почитайте о каждом из них и выберите самый подходящий.

Как анализировать результаты A/B тестирования 

Помните, что гипотеза сдвигает фокус от побед к инсайтам? Криста Сайден (Product manager @ Google), объясняет это следующим образом: 

"Самый недооцененный аспект A/B тестирования  - это изучение провальных вариантов. Фактически, в программах оптимизации, которые я выполняла, я завела привычку публиковать "отчет об ошибках", где я описываю некоторых из крупнейших провалов и чему они нас научили.

Один из моих фаворитов - кампания, которая длилась месяцы. Мы смогли втиснусть A/B тест для новой целевой страницы кампании, прежде чем она была запущена в мир. Хорошо, что мы это сделали, потому что она потерпела неудачу. Если бы страница была запущена, как она есть, то мы непременно бы увидели низкие результаты. Мало того, что мы сэкономили бизнесу много денег, нам удалось понять проблему и сделать некоторые предположения (которые мы позже протестировали) о том, почему новая страница работала так плохо. Это сделало нас лучше, как маркетологов и позволило быть более успешными в будущих кампаниях".

Если вы правильно сформулируете свою гипотезу, даже проигравший станет победителем, потому что вы получите информацию, которую вы можете использовать для будущих тестов и в других областях вашего бизнеса. Итак, когда вы анализируете результаты теста, вам нужно сосредоточиться на понимании, а не на том, выиграл или проиграл вариант. Всегда есть чему поучиться, всегда что-то анализировать. Не игнорируйте проигравших!

Если вы правильно сформулируете свою гипотезу, даже проигравший станет победителем.

Самое главное здесь отметить необходимость сегментации. Тест может быть проигравшим в целом, но, скорее всего, он хорошо работает по крайней мере с одним сегментом. Например:

• Новые посетители
• Вернувшиеся посетителей
• iOS посетители
• Android посетители
• Chrome посетители
• Safari посетители
• Desktop посетители
• Tablet посетители
• Organic посетители  
• Paid посетители
• Social посетители
• Авторизовавшиеся посетители

Улавливаете идею?

Когда вы смотрите на результаты в своем инструменте тестирования, вы смотрите на весь пакет M&M's. Что вам нужно сделать, это разделить M&M's по цвету, чтобы вы могли съесть только зеленые. Имеется в виду, что вы можете получить инсайты о конкретных сегментах вашей аудитории.

Есть вероятность, что гипотеза оказалась верной в контексте определенных сегментов. Это также вам что-то скажет.

Вкратце: анализ - это нечто большее, чем определение победиля или проигравшего. Сосредоточьтесь на идеях и сегментируйте свои данные, чтобы найти скрытую информацию ниже поверхности.

Инструменты A/B тестирования не будут делать анализ за вас. Это важный навык, который нужно развивать.

Как архивировать прошлые A/B тесты 

Предположим, завтра вы запустите свой первый тест. Через два года вы сможете вспомнить детали этого теста? Скорее всего, нет.

Вот почему архивирование результатов теста - это очень важно. Без хорошего архива результаты проверенных идей, будут потеряны. Кроме того, вы легко можете забыть, что вы уже тестировали и протестировать это снова.

Единственного правильного способа вести архив - не существует. Вы можете использовать специальные инструменты или использовать Excel. Это действительно зависит от вас, особенно когда вы только начинаете. Просто убедитесь, что вы отслеживаете следующие вещи:

• Гипотеза
• Скриншоты контрольной версии и варианта
• Результаты теста (победа или поражение)
• Инсайты, полученные путем анализа

По мере роста вы непременно оцените достоинства архива. Это поможет не только вам, но и вашей компании.

A/B тестирование. Как это делают профессионалы

Криста Сайден (Google)

Мой процесс A/B тестирования  начинается с анализа. Думаю, что это ядро любой хорошей тестовой программы. На этапе анализа цель состоит в том, чтобы проанализировать результаты опросов, UX исследований, статистические данные или любые другие источники информации о клиентах, чтобы понять, где находятся ваши возможности для оптимизации.

Когда на этапе анализа вы сгенерировали достаточно идей, вы можете перейти к формированию гипотез о том, что, возможно, идет не так, и как бы вы могли это исправить или улучшить.

Теперь пришло время строить и запускать тесты. Убедитесь, что тесты будут продолжаться в течение разумного промежутка времени (я по умолчанию запускаю тесты на две недели, чтобы обеспечить учет недельных изменений или аномалий), а когда у вас достаточно данных, проанализируйте свои результаты, чтобы определить победителя.

Важно также анализировать проигравших, чтобы понять, чему они могут вас научить.

Переходите к персонализации только после того, как потратили время на создание основы для надежной программы оптимизации. Здесь дело не в наборе инструментов, а скорее в данных, которые у вас есть о ваших пользователях.

Персонализация может быть такой же простой, как таргетинг правильного контента на правильную локацию. Или сложной, как таргетинг, основанный на действиях отдельных пользователей. Не переходите к персонализации сразу. Убедитесь, что вы потратили достаточно времени на формирование базы.

Алекс Биркетт (HubSpot)

Если говорить в общем, то я стараюсь следовать следующему процессу:

• Соберите данные и убедитесь, что они точны
• Проанализируйте данные и найдите инсайты
• Превартите инсайты в гипотезы
• Приоретизируйте гипотезы на основании влияния и простоты реализации 
• Запустите тест 
• Проанализируйте результаты и сделайте выводы
• Запустите новую итерацию

Проще говоря: исследовать, тестировать, анализировать, повторять.

Хотя этот процесс может отклоняться или меняться в зависимости от контекста, он вполне применим к любому размеру или типу компании. Дело в том, что этот процесс является гибким, но он также помогает собрать достаточно данных - качественных и количественных. Это помогает тестировать лучшие идеи и эффективно расставить приоритеты, чтобы не тратить трафик зря.

Тон Весселинг (Online dialogue)

Первый вопрос, на который мы всегда отвечаем, когда хотим оптимизировать путешествие пользователя (user journey) - где этот продукт или услуга соответствует нашей ROAR модели? 

• Risk. Фаза риска: множество исследований, результаты которых могут вылиться во что угодно. От изменения бизнес-модели до нового дизайна и формирования нового ценностного предложения.
• Optimization. Фаза оптимизации: крупные эксперименты, которые направлены на оптимизацию ценностного предложения и бизнес-модели. Или небольшие эксперименты для проверки гипотез о поведении пользователей и получения знания для более масштабных изменений в дизайне.
• Automation. Автоматизация: вам больше не нужно запускать тесты, чтобы проверить user journey. Теперь тесты должны быть сфокусированы на росте. 
• Re-think. Переосмысление: вы перестаете проводить много исследований, если только это не ведет к чему-то новому.

Источник: https://www.shopify.com/blog/the-complete-guide-to-ab-testing

Таким образом, A/B тестирование  - это большая вещь только в фазе оптимизации и автоматизации в модели ROAR.

Наш подход к проведению экспериментов - это модель FACT & ACT:

Источник: https://www.shopify.com/blog/the-complete-guide-to-ab-testing

Исследование, которое мы делаем, основано на модели 5V:

Источник: https://www.shopify.com/blog/the-complete-guide-to-ab-testing

Мы собираем все эти идеи, чтобы придумать основную гипотезу, основанную на исследованиях. Она, в свою очередь, ведет к суб-гипотезам, которые будут приоретизированы на основе собранных данных. Чем больше вероятность того, что гипотеза будет истинной, тем выше она будет оценена.

Как только мы узнаем, что наша гипотеза истинна или ложна, мы можем начать комбинировать знания и предпринимать более масштабные шаги, перепроектируя / перестраивая большие части user journey. Однако в какой-то момент все выигрышные варианты приведут к локальному максимуму. Затем вам нужно сделать больший шаг, чтобы достичь потенциального глобального максимума.

И, конечно же, основные знания будут распространяться по всей компании, что приведет к всевозможным более широким оптимизациям и инновациям.

Юлия Старостенко (Shopify)

Цель эксперимента - подтвердить, что внесение изменений в существующую веб-страницу окажет положительное влияние на бизнес.

Прежде чем начать, важно определить - действительно ли необходим эксперимент. Рассмотрим следующий сценарий: есть кнопка на которую кликают очень редко. Было бы практически невозможно уменьшить производительность этой кнопки. Поэтому проверка эффективности предлагаемого изменения на кнопку (запуск эксперимента) не требуется. Аналогично, если предлагаемое изменение кнопки мало, вероятно, не стоит тратить время на настройку и выполнение эксперимента. 

Если будет определено, что эксперимент на самом деле был бы полезен, следующим шагом будет определение бизнес-показателя (или показателей), который должен быть улучшен (например, увеличить коэффициент конверсии кнопки). Затем мы должны убедиться, что сбор данных настроен правильно.

Когда подготовка завершена, аудитория будет разбита на две группы. В одной группе отображается существующая версия кнопки, в то время как другая группа увидит новую версию. Мониторинг конверсии в рамках каждой аудитории должен вестись и после достижения статистической значимости. 

Пип Лая (CXL Institute)

A/B тестирование является частью большего процесса - оптимизации конверсии. По моему мнению, 80% приходится на исследования и только 20% на тестирование. Исследования конверсии помогут вам определить, с чего начать тестирование.

Мой процесс обычно выглядит так (упрощенное резюме):

• Проведите конверсионные исследования с использованием такого подхода, как ResearchXL, для выявления проблем на вашем сайте.
• Выберите проблему с высоким приоритетом (которая затрагивает значительную часть пользователей и является серьезной). 
• Проведите мозговой штурм, чтобы найти как можно больше решений этой проблемы. Подкрепите процесс поиска идей результатами исследований конверсии. Определите, на каком устройстве вы хотите запустить тест (вам нужно выполнить отдельные тесты на настольном и мобильном устройствах).
• Определите, сколько вариантов вы можете протестировать (исходя из вашего уровня трафика), а затем выберите 1-2 лучшие идеи для сравнения с контрольной версией
• Сделайте каркас вариантов. В зависимости от объема изменений вам также может потребоваться помощь дизайнера.
• Настройте вариант в инструменте тестирования (привлеките разработчика, если требуется). Настройте Google Analytics, задайте соответствующие цели.
• Протестируйте тест, чтобы убедиться, что он работает с каждым браузером / устройством (сломанные тесты - самая большая из возможных проблем).
• Запустите тест!
• Как только тест будет выполнен, сделайте анализ полученных данных.
• В зависимости от результата сделайте победителя новой контрольной версией, проведите еще одну итерацию или протестируйте что-нибудь еще

Ваша очередь

Теперь у вас есть процесс, у вас есть сила! Начинайте тестировать. Удачи!


Источник: https://www.shopify.com/blog