Эксперимент
Краткое содержание
Эксперимент — это A/B-тест, включающий контрольный и несколько тестовых вариантов.
Создать эксперимент Доступ к созданию осуществляется через раздел «Поведенческая аналитика» — «Эксперименты» — «Создать экспер имент».
Настройки эксперимента Для настройки используются слои, бакеты и флаги. Варианты делятся на контрольные (исходная версия без изменений) и тестовые (версия с изменениями).
Целевые события Целевое событие — это действие с высокой бизнес-ценностью. Конверсия показывает долю уникальных пользователей, совершивших это действие. К событию можно добавить сегмент, чтобы анализировать только определенную группу пользователей (например, использующих конкретный браузер).
В тексте вы найдете руководство по добавлению сегмента к целевому событию:
- Выберите целевое событие в разделе «Метрики» и добавьте его в эксперимент.
- Нажмите «Определить сегмент» у выбранного события.
- Задайте условие сегмента (например, браузер Google Chrome).
Статус эксперимента После запуска эксперимента изменить его настройки невозможно. Статусы определяют текущее состояние теста:
- Черновик: настройки можно изменять, влияния на интерфейс нет.
- Запущен: тест проводится, посетители видят назначенные флаги.
- На паузе: посетитель видит интерфейс 6 часов, другие эксперименты этого слоя не поступают.
- Завершён: бакеты становятся свободными, распределение посетителей происходит заново.
Свойства эксперимента Один посетитель участвует только в одном тестовом варианте одного слоя. Лимит бакетов на слой составляет 120 штук. Эксперименты в слое невозможны, пока все бакеты не освободятся после завершения тестов.
Эксперимент — это A/B-тест с контрольным и несколькими возможными тестовыми вариантами.
Создать эксперимент
Раздел «Поведенческая аналитика» — Эксперименты — Создать эксперимент
Настройки эксперимента
| Вариант | Описание |
|---|---|
| Контрольный | Изначальная версия ресурса без тестируемых изменений. Флаги необязательны |
| Тестовый | Тестируемая версия ресурса с изменениями. Флаги необязательны |
Бакеты вариантов подсчитаны в таблице
Целевые события
Целевое событие — это событие, которое имеет особую бизнес-ценность. Например, клики на кнопку «Оплатить» при переходе на страницу услуги в рамка х конкретной рекламной кампании.
Конверсия в настройках целевого события — доля уникальных пользователей, совершивших целевое действие. Значение актуализируется по клику на Рассчитать.
К целевому событию в эксперименте можно добавить сегмент. Тогда расчёт идёт не по всем пользователям, которые достигли цели, а только по тем, кто достиг цели и попал в сегмент.
Сегмент действует на выбранное целевое событие, а не на весь эксперимент.
Как добавить сегмент к целевому событию:
- В настройках эксперимента в разделе «Метрики» выберите целевое событие и добавьте его в эксперимент
- Нажмите Определить сегмент у этого целевого события
- Задайте условие сегмента. Например, браузер — Google Chrome
Без сегмента в расчёт входят все пользователи, которые достигли целевого события. С сегментом — только те, кто достиг события и подходит под условие. Например, оформили заказ и использовали браузер Google Chrome.
Статус эксперимента
После запуска эксперимента нельзя поменять его настройки.
| Статус | Что происходит |
|---|---|
| Черновик | Создаётся черновик эксперимента, влияния на интерфейс нет, настройки можно изменить |
| Запущен | Тест проводится. Группы посетителей видят назначенные им флаги (версии сайта) |
| На паузе | Посетитель видит изменённый интерфейс 6 часов с момента получения эксперимента. Пока эксперимент на паузе, он не получит другие эксперименты этого слоя |
| Завершён | Все бакеты, которые использовались в эксперименте, переходят в категорию «свободные», посетители распределяются заново |
Свойства эксперимента
- Один посетитель участвует только в одном тестовом варианте одного слоя
- Лимит бакетов на слой: 120 шт.
Всего в экспериментах одного слоя можно использовать 120 бакетов. Когда они закончатся, эксперименты в этом слое проводить не получится. Бакеты освободятся только после завершения эксперимента.