Перейти к основному содержимому

Калькулятор

Краткое содержание
  • Определяет необходимый размер выборки и ожидаемый прирост конверсии.
  • Метрики рассчитываются после нажатия на Рассчитать.

Как использовать

  • Задайте мощность и достоверность для расчета метрик.
  • Для целевого события укажите либо ожидаемый прирост, либо размер выборки (не оба одновременно).

Мощность

  • Вероятность обнаружить различие, если оно есть.
  • Обычно 80%. Чем выше значение, тем меньше вероятность ошибки 2 рода.

Достоверность

  • Вероятность, с которой результаты верны, если тест показал разницу.
  • Обычно 95%. Чем выше значение, тем меньше вероятность ошибки 1 рода.

Ожидаемый прирост

  • Минимальный размер различия (в процентных пунктах), который можно ожидать.
  • Чем больше различие, тем меньше требуется выборка.

Размер выборки

  • Количество пользователей, необходимое для достоверного результата.
  • Тест считается завершенным, когда наберется нужное количество участников.

Конверсия в настройках целевого события

  • Доля уникальных пользователей, совершивших целевое действие.
  • Значение обновляется после нажатия на Рассчитать.

Калькулятор позволяет определить:

  • необходимый размер выборки, чтобы выявить статистически значимого победителя
  • ожидаемый прирост конверсии

Метрики в калькуляторе рассчитываются по клику на Рассчитать

img

Как использовать​

  • Сначала вы задаёте мощность и достоверность — на их основе рассчитываются другие метрики целевых событий

  • Для целевого события можно задать либо ожидаемый прирост, либо размер выборки. Не оба — один рассчитывается на основе другого, поэтому рядом с показателями стоит открытый / закрытый замок

Мощность​

Вероятность обнаружить различие, если оно есть.

Совет

Обычно принимает значение 80%. Чем выше мощность, тем меньше вероятность совершить ошибку 2 рода (проигнорировать различие там, где оно есть).

Достоверность​

Вероятность, с которой результаты верны, если тест показал разницу. Проще говоря, это уверенность в результате.

Совет

Обычно принимает значение 95%. Чем выше достоверность, тем меньше вероятность совершить ошибку 1 рода (обнаружить различие там, где его нет).

Ожидаемый прирост​

Минимальный размер различия (в процентных пунктах), который вы ожидаете обнаружить в эксперименте. Иногда используется термин MDE.

img

Совет

Чем больше размер различия, тем меньше должна быть выборка.

Размер выборки​

Количество пользователей, которые должны увидеть каждый вариант, чтобы результат теста считался достоверным.

img

Совет

Тест можно считать завершённым, когда наберётся нужный размер выборки.

Конверсия в настройках целевого события​

Доля уникальных пользователей, совершивших целевое действие. Значение актуализируется по клику на Рассчитать.

Конверсия: 0%

Это значит, что пользователи пока не совершили целевое действие — конверсии пока нет.