Калькулятор

Краткое содержание

Сервис помогает определить необходимый размер выборки для выявления статистически значимого победителя и рассчитать ожидаемый прирост конверсии. Метрики обновляются после нажатия кнопки Рассчитать.

Как использовать

В тексте вы найдете руководство по настройке параметров теста. Сначала задаются мощность и достоверность, на основе которых вычисляются остальные метрики. Для целевого события можно указать либо ожидаемый прирост, либо размер выборки — одновременно оба параметра задать нельзя, так как один рассчитывается на основе другого (об этом свидетельствуют иконки замков).

Мощность

Этот параметр показывает вероятность обнаружить различие, если оно действительно существует. Обычно устанавливается на уровне 80%. Повышение мощности снижает риск ошибки 2 рода, то есть игнорирования реальных различий.

Достоверность

Параметр отражает уверенность в результате теста при обнаружении разницы. Стандартное значение — 95%. Высокая достоверность минимизирует вероятность ошибки 1 рода, когда различие фиксируется ошибочно.

Ожидаемый прирост

Это минимальное различие (в процентных пунктах), которое планируется обнаружить в эксперименте (также называется MDE). Существует обратная зависимость: чем больше ожидаемый размер различия, тем меньше требуется выборка.

Размер выборки

Обозначает количество пользователей, которые должны увидеть каждый вариант теста для получения достоверного результата. Тест считается завершенным, когда набирается требуемый объем выборки.

Конверсия в настройках целевого события

Показатель доли уникальных пользователей, совершивших целевое действие. Значение актуализируется по нажатию Рассчитать. Расчет ведется по всем уникальным пользователям, достигшим цели, либо только по тем, кто попал в заданный сегмент. Если целевое действие еще не совершено, конверсия равна нулю.

Калькулятор позволяет определить:

• необходимый размер выборки, чтобы выявить статистически значимого победителя
• ожидаемый прирост конверсии

Метрики в калькуляторе рассчитываются по клику на Рассчитать

Как использовать

• Сначала вы задаёте мощность и достоверность — на их основе рассчитываются другие метрики целевых событий

• Для целевого события можно задать либо ожидаемый прирост, либо размер выборки. Не оба — один рассчитывается на основе другого, поэтому рядом с показателями стоит открытый / закрытый замок

Мощность

Вероятность обнаружить различие, если оно есть.

Совет

Обычно принимает значение 80%. Чем выше мощность, тем меньше вероятность совершить ошибку 2 рода (проигнорировать различие там, где оно есть).

Достоверность

Вероятность, с которой результаты верны, если тест показал разницу. Проще говоря, это уверенность в результате.

Совет

Обычно принимает значение 95%. Чем выше достоверность, тем меньше вероятность совершить ошибку 1 рода (обнаружить различие там, где его нет).

Ожидаемый прирост

Минимальный размер различия (в процентных пунктах), который вы ожидаете обнаружить в эксперименте. Иногда используется термин MDE.

Совет

Чем больше размер различия, тем меньше должна быть выборка.

Размер выборки

Количество пользователей, которые должны увидеть каждый вариант, чтобы результат теста считался достоверным.

Совет

Тест можно считать завершённым, когда наберётся нужный размер выборки.

Конверсия в настройках целевого события

Доля уникальных пользователей, совершивших целевое действие. Значение актуализируется по клику на Рассчитать. Конверсия считается по всем уникальным пользователям, которые совершили целевое действие. Если к целевому действию был добавлен сегмент — то рассчёт идёт только по тем пользователям, кто достиг цели и попал в сегмент.

Конверсия: 0%

Это значит, что пользователи пока не совершили целевое действие — конверсии пока нет.