Описание эксперимента: Перед вами таблица, где числовая переменная – непрерывная. Задача – сравнить группы двумя способами: бутстрапом и u-тестом
Описание колонок
- value – значения метрики
- experimentVariant – Вариант теста (Control – контроль, Treatment – тест)
Задача
- Сравните результат между тестом и контролем по двум кейсам:
Примените бутстрап (с np.mean) и критерий mann-whitney, а потом сравните p-value Примените бутстрап (с np.median) и критерий mann-whitney, а потом сравните p-value. 2. Напишите выводы, которые можно сделать на основе анализа примененных критериев
❗️ Не сравнивайте p-value разных критериев в реальной жизни
- Это повышает вероятность допустить ошибку I рода и вводит в заблуждение при анализе результатов применения критериев.
- Заранее формулируйте гипотезу и подбирайте под нее релевантный статистический критерий в рамках дизайна эксперимента