Перейти к основному содержимому

Калькулятор

Краткое содержание

Как использовать

  • Задайте мощность и достоверность для расчета метрик целевых событий
  • Для целевого события укажите либо ожидаемый прирост, либо размер выборки (показатели связаны, поэтому один из них рассчитывается автоматически)

Мощность
Вероятность обнаружить различие, если оно есть. Обычно 80%. Чем выше мощность, тем меньше вероятность ошибки 2 рода (игнорировать реальное различие).

Достоверность
Вероятность, с которой результаты верны, если тест показал разницу. Обычно 95%. Чем выше достоверность, тем меньше вероятность ошибки 1 рода (обнаружить разницу, которой нет).

Ожидаемый прирост
Минимальное различие (в процентных пунктах), которое можно ожидать в эксперименте. Чем больше разница, тем меньше требуется выборка.

Размер выборки
Количество пользователей, необходимое для достоверного результата. Тест считается завершенным, когда наберется нужное количество.

Конверсия в настройках целевого события
Доля уникальных пользователей, совершивших целевое действие. Значение обновляется после нажатия Рассчитать. Пока конверсии нет.

Калькулятор позволяет определить:

  • необходимый размер выборки, чтобы выявить статистически значимого победителя
  • ожидаемый прирост конверсии

Метрики в калькуляторе рассчитываются по клику на Рассчитать

img

Как использовать​

  • Сначала вы задаёте мощность и достоверность — на их основе рассчитываются другие метрики целевых событий

  • Для целевого события можно задать либо ожидаемый прирост, либо размер выборки. Не оба — один рассчитывается на основе другого, поэтому рядом с показателями стоит открытый / закрытый замок

Мощность​

Вероятность обнаружить различие, если оно есть.

Совет

Обычно принимает значение 80%. Чем выше мощность, тем меньше вероятность совершить ошибку 2 рода (проигнорировать различие там, где оно есть).

Достоверность​

Вероятность, с которой результаты верны, если тест показал разницу. Проще говоря, это уверенность в результате.

Совет

Обычно принимает значение 95%. Чем выше достоверность, тем меньше вероятность совершить ошибку 1 рода (обнаружить различие там, где его нет).

Ожидаемый прирост​

Минимальный размер различия (в процентных пунктах), который вы ожидаете обнаружить в эксперименте. Иногда используется термин MDE.

img

Совет

Чем больше размер различия, тем меньше должна быть выборка.

Размер выборки​

Количество пользователей, которые должны увидеть каждый вариант, чтобы результат теста считался достоверным.

img

Совет

Тест можно считать завершённым, когда наберётся нужный размер выборки.

Конверсия в настройках целевого события​

Доля уникальных пользователей, совершивших целевое действие. Значение актуализируется по клику на Рассчитать.

Конверсия: 0%

Это значит, что пользователи пока не совершили целевое действие — конверсии пока нет.