Отчёт о результатах эксперимента

Краткое содержание

Примеры задач для отчёта

• Оценить влияние изменений на показатели
• Определить вариант-победитель в эксперименте
• Отслеживать аномалии и проблемы в ходе теста

Где найти
Раздел «Поведенческая аналитика» → Эксперименты → клик на Эксперимент

Калькулятор
Ссылка на подробности о метриках в калькуляторе

График и таблица
Над графиком

1. Выбор временного периода (день, неделя, месяц)
2. Целевое событие, по которому отображается график
3. Показатель, по которому отображается график

Под графиком

1. Отчётный период
2. Настройка выборки
3. Показатели в таблице

Доверительный интервал
Диапазон значений, в котором с определённой вероятностью (например, 95%) находится истинный коэффициент конверсии. Отображается как цветная область на графике. Не отображается для Итога и если конверсия по одной из целей не рассчитана.

Таблица
Показатели
Ссылка на подробности о показателях в отчёте

Итог
В Итоге подсчитаны значения показателей по вариантам. В таблице указаны:

• Конверсия пользователей
• Конверсия сессий
• Количество пользователей, сессий и событий

Победитель
Вариант-победитель рассчитывается только для показателя «Конверсия пользователей, %» по t-критерию Стьюдента. В таблице выделяется зелёным. Возможно, не выявлена статистически значимая разница между вариантами.

Конверсия в «Настройках» и конверсия в таблице
Таблица сравнивает:

• Конверсия в «Настройках»: отношение пользователей, совершивших целевое событие, к общему числу пользователей
• Конверсия в таблице: отношение пользователей, совершивших целевое событие, к общему числу пользователей в варианте

Используйте отчёт, чтобы проанализировать результаты экспериментов и узнать статистически значимого победителя.

Примеры задач для отчёта

• оценить влияние изменений на показатели
• узнать вариант-победитель в эксперименте
• отслеживать возможные аномалии и проблемы в ходе теста

Где найти

Раздел «Поведенческая аналитика» → Эксперименты → клик на Эксперимент

Калькулятор

Подробнее про метрики в калькуляторе

График и таблица

Над графиком

1. День, неделя, месяц

2. Целевое событие, по которому отображается график и таблица

3. Показатель, по которому отображается график

Под графиком

1. Отчётный период

2. Настройка выборки

3. Показатели в таблице

Доверительный интервал

Диапазон значений, в котором с определенной вероятностью (например, 95%) находится истинный коэффициент конверсии.

Доверительный интервал отображается только на графике как цветная область вокруг линий.

Заметка

Доверительный интервал не отображается:

• для Итога
• если конверсия по одной из целей не рассчитана

Таблица

Показатели

Подробнее про показатели в отчёте

Итог

В Итоге подсчитаны значения показателей по вариантам.

Показатель	Расчёт итога
Конверсия пользователей	Пользователи, которые совершили любое целевое событие эксперимента / Все пользователи варианта
Конверсия сессий	Сессии, в которых совершили любое целевое событие эксперимента / Все сессии варианта
Пользователи	Сколько уникальных пользователей было в варианте
Сессии	Сколько уникальных сессий было в варианте
События	Количество событий всех пользователей в варианте

Победитель

Вариант-победитель рассчитывается только для показателя «Конверсия пользователей, %» по t-критерию Стьюдента. В таблице он выделяется зелёным.

Почему нет победителя

Возможно, не выявлена статистически значимая разница между вариантами.

Конверсия в «Настройках» и конверсия в таблице

Название	Описание
Конверсия в «Настройках»	Пользователи, которые совершили целевое событие / общее число пользователей
Конверсия в таблице	Пользователи, которые совершили целевое событие / общее число пользователей в варианте