Отчёт о результатах эксперимента
Краткое содержание
Примеры задач для отчёта
- Оценить влияние изменений на показатели
- Определить вариант-победитель в эксперименте
- Отслеживать аномалии и проблемы в ходе теста
Где на йти
Раздел «Поведенческая аналитика» → Эксперименты → клик на Эксперимент
Калькулятор
Ссылка на подробности о метриках в калькуляторе
График и таблица
Над графиком
- Варианты временных периодов (день, неделя, месяц)
- Целевое событие, по которому отображается график
- Показатель, используемый для построения графика
Под графиком
- Отчётный период
- Ссылка на настройку выборки
- Ссылка на описание показателей в таблице
Доверительный интервал
Диапазон значений, в котором с определённой вероятностью (например, 95%) находится истинный коэффициент конверсии. Отображается как цветная область вокруг линий на графике. Не отображается:
- Для раздела Итога
- Если конверсия по одной из целей не рассчитана
Таблица
Показатели
Ссылка на подробности о показателях в отчёте
Итог
В разделе Итог указаны значения показателей по вариантам. Включает: конверсию пользователей, конверсию сессий, количество пользователей, сессий и событий.
Победитель
Вариант-победитель рассчитывается только для показателя «Конверсия пользователей, %» по t-критерию Стьюдента. Выделяется зелёным. Возможно, разница между вариантами не является статистически значимой.
Конверсия в «Настройках» и конверсия в таблице
Таблица сравнивает:
- Конверсию в «Настройках» (целевое событие / общее число пользователей)
- Конверсию в таблице (целевое событие / общее число пользователей в варианте)
Используйте отчёт, чтобы проанализировать результаты экспериментов и узнать статистически значимого победителя.
Примеры задач для отчёта
- оценить влияние изменений на показатели
- узнать вариант-победитель в эксперименте
- отслеживать возможные аномалии и проблемы в ходе теста
Где найти
Раздел «Поведенческая аналитика» → Эксперименты → клик на Эксперимент
Калькулятор
Подробнее про метрики в калькуляторе
График и таблица
- Над графиком
- Под графиком
-
Целевое событие, по которому отображается график и таблица
-
Показатель, по которому отображается график
-
Отчётный период
Доверительный интервал
Диапазон значений, в котором с определенной вероятностью (например, 95%) находится истинный коэффициент конверсии.
Доверительный интервал отображается только на графике как цветная область вокруг линий.
Доверительный интервал не отображается:
- для Итога
- если конверсия по одной из целей не рассчитана
Таблица
Показатели
Подробнее про показатели в отчёте
Итог
В Итоге подсчитаны значения показателей по вариантам.
| Показатель | Расчёт итога |
|---|---|
| Конверсия пользователей | Пользователи, которые совершили любое целевое событие эксперимента / Все пользователи варианта |
| Конверсия сессий | Сессии, в которых совершили любое целевое событие эксперимента / Все сессии варианта |
| Пользователи | Ско лько уникальных пользователей было в варианте |
| Сессии | Сколько уникальных сессий было в варианте |
| События | Количество событий всех пользователей в варианте |
Победитель
Вариант-победитель рассчитывается только для показателя «Конверсия пользователей, %» по t-критерию Стьюдента. В таблице он выделяется зелёным.
Возможно, не выявлена статистически значимая разница между вариантами.
Конверсия в «Настройках» и конверсия в таблице
| Название | Описание |
|---|---|
| Конверсия в «Настройках» | Пользователи, которые совершили целевое событие / общее число пользователей |
| Конверсия в таблице | Пользователи, которые совершили целевое событие / общее число пользователей в варианте |