Перейти к основному содержимому

Калькулятор

Краткое содержание

Инструмент для определения размера выборки и ожидаемого прироста конверсии. Метрики рассчитываются после нажатия на Рассчитать.

Как использовать

  • Задайте мощность и достоверность для расчёта остальных метрик.
  • Для целевого события укажите либо ожидаемый прирост, либо размер выборки (показатель с замком блокирует ввод обоих).

Мощность
Вероятность обнаружить различие, если оно есть. Обычно 80%. Чем выше мощность, тем меньше вероятность ошибки 2 рода.

Достоверность
Вероятность правильности результата при наличии различия. Обычно 95%. Чем выше достоверность, тем меньше вероятность ошибки 1 рода.

Ожидаемый прирост
Минимальный размер различия (в процентных пунктах), который можно ожидать. Чем больше различие, тем меньше требуется выборка.

Размер выборки
Количество пользователей, необходимое для достоверного результата. Тест завершён, когда достигнут этот размер.

Конверсия в настройках целевого события
Доля пользователей, совершивших целевое действие. Значение обновляется после нажатия на Рассчитать. Пока конверсия не достигнута.

Калькулятор позволяет определить:

  • необходимый размер выборки, чтобы выявить статистически значимого победителя
  • ожидаемый прирост конверсии

Метрики в калькуляторе рассчитываются по клику на Рассчитать

img

Как использовать​

  • Сначала вы задаёте мощность и достоверность — на их основе рассчитываются другие метрики целевых событий

  • Для целевого события можно задать либо ожидаемый прирост, либо размер выборки. Не оба — один рассчитывается на основе другого, поэтому рядом с показателями стоит открытый / закрытый замок

Мощность​

Вероятность обнаружить различие, если оно есть.

Совет

Обычно принимает значение 80%. Чем выше мощность, тем меньше вероятность совершить ошибку 2 рода (проигнорировать различие там, где оно есть).

Достоверность​

Вероятность, с которой результаты верны, если тест показал разницу. Проще говоря, это уверенность в результате.

Совет

Обычно принимает значение 95%. Чем выше достоверность, тем меньше вероятность совершить ошибку 1 рода (обнаружить различие там, где его нет).

Ожидаемый прирост​

Минимальный размер различия (в процентных пунктах), который вы ожидаете обнаружить в эксперименте. Иногда используется термин MDE.

img

Совет

Чем больше размер различия, тем меньше должна быть выборка.

Размер выборки​

Количество пользователей, которые должны увидеть каждый вариант, чтобы результат теста считался достоверным.

img

Совет

Тест можно считать завершённым, когда наберётся нужный размер выборки.

Конверсия в настройках целевого события​

Доля уникальных пользователей, совершивших целевое действие. Значение актуализируется по клику на Рассчитать.

Конверсия: 0%

Это значит, что пользователи пока не совершили целевое действие — конверсии пока нет.