Описание задания: А/А-тестирование мобильного приложения. Необходимо посчитать результаты A/A-теста, проверяя метрику качества FPR (будем проверять на конверсии в покупку). Известно, что сплит-система сломана. Требуется проверить утверждение о поломке и найти ее причины, если сплит-система действительно сломана
Описание колонок
- experimentVariant – вариант эксперимента
- version – версия приложения
- purchase – факт покупки
Задача Запустите A/A-тест. Посчитайте FPR на уровне альфа = 0.05 (ставьте подвыборки без возвращения объемом 1000). Вы увидите, что FPR > альфа! Нам нужно наоборот – чтобы было меньше. Найдите причины поломки сплит-системы, ориентируясь на результаты эксперимента (подсказка: найдите аномалию в версии приложения). Напишите выводы, которые можно сделать на основе анализа результатов A/A-теста
💡 Ответ: как найти причины поломки?
Вам доступна версия мобильного приложения (МП) каждого пользователя. Эту полезную информацию можно использовать для исследования проблемы:
- Посчитайте конверсию (коэффициент покупок), группируя по варианту и версии МП. Возможно уже станет ясно где именно причины поломки
- Посчитайте pvalue для каждой версии МП
- Найдите версии, где pvalue < 0.05
- Исключите версию с pvalue < 0.05 из основного датафрейма
- Повторно запустите расчет FPR через A/A. Теперь FPR < альфа
- Вы нашли поломку