Отчёт о результатах эксперимента
Краткое содержание
Отчёт позволяет проанализировать результаты экспериментов, определить статистически значимого победителя, оценить влияние изменений на ключевые показатели, выявить вариант-победитель и отследить аномалии в ходе тестирования.
Где найти
Навигация осуществляется через раздел «Поведенческая аналитика», далее в подраздел «Эксперименты» и выбор конкретного эксперимента.
Калькулятор
Дополнительную информацию о метриках, используемых в калькуляторе, можно получить по соответствующей ссылке.
График и таблица
Над графиком В статье приведена пошаговая инструкция по настройке отображения данных над графиком, включающая выбор временного диапазона (день, неделя, месяц), целевого события и показателя.
Под графиком В тексте вы найдете руководство по настройке отчётного периода, выборки и отображаемых показателей в таблице.
Доверительный интервал
Доверительный интервал представляет собой диапазон значений с заданной вероятностью (например, 95%), в котором находится истинный коэффициент конверсии. На графике он визуализируется как цветная область вокруг линий. Интервал не отображается для показателя «Итог» или если конверсия по одной из целей не рассчитана.
Таблица
Показатели Подробное описание показател ей отчёта доступно по ссылке.
Итог
В таблице «Итог» представлены подсчитанные значения показателей по вариантам. В статье приведена информация о содержании таблицы, где описаны формулы расчёта для конверсии пользователей, конверсии сессий, количества пользователей, сессий и событий. В настройках эксперимента к целевому событию можно добавить сегмент, что изменяет формулу расчёта только для этого события.
Победитель
Вариант-победитель определяется исключительно для показателя «Конверсия пользователей, %» на основе t-критерия Стьюдента и выделяется в таблице зелёным цветом. Если статистически значимая разница между вариантами не выявлена, победитель не определяется.
Конверсия в «Настройках» и конверсия в таблице
В таблице описаны различия между конверсией в настройках и конверсией в таблице. Конверсия в настройках рассчитывается как отношение пользователей, совершивших целевое событие, к общему числу пользователей. Конверсия в таблице рассчитывается как отношение пользователей, совершивших целевое событие, к общему числу пользователей именно в данном варианте.
Используйте отчёт, чтобы проанализировать результаты экспериментов и узнать статистически значимого победителя.
Примеры задач для отчёта
- оценить влияние изменений на показатели
- узнать вариант-победитель в эксперименте
- отслеживать возможные аномалии и проблемы в ходе теста
Где найти
Раздел «Поведенческая аналитика» → Эксперименты → клик на Эксперимент
Калькулятор
Подробнее про метрики в калькуляторе
График и таблица
- Над графиком
- Под графиком
-
Целевое событие, по которому отображается график и таблица
-
Показатель, по которому отображается график
-
Отчётный период
Доверительный интервал
Диапазон значений, в котором с определенной вероятностью (например, 95%) находится истинный коэффициент конверсии.
Доверительный интервал отображается только на графике как цветная область вокруг линий.
Доверительный интервал не отображается:
- для Итога
- если конверсия по одной из целей не рассчитана
Таблица
Показатели
Подробнее про пока затели в отчёте
Итог
В Итоге подсчитаны значения показателей по вариантам.
| Показатель | Расчёт итога |
|---|---|
| Конверсия пользователей | Пользователи, которые совершили любое целевое событие эксперимента / Все пользователи варианта |
| Конверсия сессий | Сессии, в которых совершили любое целевое событие эксперимента / Все сессии варианта |
| Пользователи | Сколько уникальных пользователей было в варианте |
| Сессии | Сколько уникальных сессий было в варианте |
| События | Количество событий всех пользователей в варианте |
В настройках эксперимента, в разделе «Метрики», к целевому событию можно добавить сегмент. Сегмент относится к этому целевому событию, а не ко всему эксперименту. Меняется только формула для этого целевого события.
Победитель
Вариант-победитель рассчитывается только для показателя «Конверсия пользователей, %» по t-критерию Стьюдента. В таблице он выделяется зелёным.
Возможно, не выявлена статистически значимая разница между вариантами.
Конверсия в «Настройках» и ко нверсия в таблице
| Название | Описание |
|---|---|
| Конверсия в «Настройках» | Пользователи, которые совершили целевое событие / общее число пользователей |
| Конверсия в таблице | Пользователи, которые совершили целевое событие / общее число пользователей в варианте |