Release-readiness assessment of a production SaaS platform across web, mobile and Android TV, with coverage of billing, integrations and data migration.
| Coverage | Execution | Result |
|---|---|---|
| 18 of 20 modules across 5 environments | 228 test cases executed | 45 defects documented with business impact and supporting analysis |
Start here: planning · analytics · test scripts · key findings
Реальный кейс тестирования SaaS-платформы для создания слайд-шоу на Smart TV.
Не учебный проект, не шаблон — полноценная QA-работа с реальной продуктовой командой.
Период: Июль–Август 2026
Роль: QA Engineer (единственный тестировщик)
Продукт: prtv.pro — онлайн-конструктор слайд-шоу для Smart TV
SaaS-платформа для бизнеса (рестораны, отели, ритейл), позволяющая создавать цифровые меню и информационные экраны на Smart TV.
Ключевые модули:
- Редактор слайд-шоу (drag-and-drop)
- Интеграции с POS-системами (R_Keeper, iiko, QuickResto)
- Информеры (ВК, Telegram, RSS, погода, курсы валют)
- Биллинг и лицензии
- ТВ-приложение (Android TV)
- Мобильная версия
- Миграция данных между доменами
- Подготовить продукт к релизу — выявить критические баги
- Оценить качество мобильной версии — проверить адаптивность
- Проверить интеграции — убедиться в работоспособности с реальными POS
- Протестировать миграцию — данные не должны теряться при переносе
| Метрика | Значение |
|---|---|
| Тест-кейсов написано | 228 |
| Выполнено тест-кейсов | 228 (100%) |
| Модулей покрыто | 18 из 20 (90%) |
| Окружений протестировано | 5 (Chrome, Yandex, Mobile iOS, Mobile Android, TV) |
| Статус | Количество | Процент |
|---|---|---|
| ✅ Passed | 177 | 77.6% |
| ❌ Failed | 27 | 11.8% |
| 🚫 Blocked | 5 | 2.2% |
| ⏸️ Not Tested | 19 | 8.3% |
| Severity | Количество | Процент |
|---|---|---|
| 🔴 High | 18 | 40% |
| 🟡 Medium | 14 | 31% |
| 🟢 Low | 13 | 29% |
| 💡 IMP (улучшения) | 4 | — |
| Итого | 45 | 100% |
- ✅ Навигация и авторизация (регистрация, вход, восстановление пароля)
- ✅ Редактор слайд-шоу (225+ тест-кейсов)
- ✅ Информеры (часы, погода, курсы валют, пробки, соцсети, RSS)
- ✅ Биллинг и лицензии (оплата картой, QR/СБП, продление)
- ✅ Потоки и подборки (расписание, пересечения, drag'n'drop)
- ✅ Шаблоны (копирование, покупка, фильтрация)
- ✅ Миграция данных (prtv.su → prtv.pro)
- ✅ VK OAuth (подключение групп)
- ✅ Google OAuth (Google Диск)
- ✅ Ресторанные POS (R_Keeper, QuickResto, iiko)
- ✅ Социальные сети (ВК, Telegram, Одноклассники)
- ✅ RSS-ленты (lenta.ru)
- ✅ Десктоп (Chrome 151, Yandex Browser 26.6)
- ✅ Мобильная версия (iOS Safari, Android Chrome)
- ✅ ТВ-приложение (TCL Smart TV, prtv-2.0.102)
- ✅ UX/UI (адаптивность, контраст, локализация)
- ✅ Безопасность (XSS, SQL-инъекции)
- ✅ Производительность (50+ слайдов в СШ)
- ✅ Совместимость (разные браузеры)
PRD-002, PRD-003, PRD-004, PRD-039, PRD-040
- Google OAuth не подключается после полного флоу
- Ресторанные меню недоступны (R_Keeper, QuickResto, iiko)
- Соцсети/RSS не отдают контент (ВК, Telegram, RSS)
- Нет валидации credentials (принимает любые данные)
Бизнес-влияние: Ключевая функция для ресторанного сегмента нерабочая.
PRD-010, PRD-011, PRD-046
- Главная страница не адаптирована
- Редактор функционально сломан (виджеты не настраиваются)
- Текст и кнопки выходят за границы
Бизнес-влияние: 50% мобильных пользователей не смогут использовать продукт.
PRD-008, PRD-009
- СШ по номеру не открывается
- Фоновое СШ и СШ с паролем не стартуют
- Потоки не воспроизводятся
Бизнес-влияние: Основной сценарий использования (ТВ) не работает.
PRD-007
- prtv.pro → prtv.su/forum → prtv.pro → prtv.su (бесконечный цикл)
Бизнес-влияние: Раздел поддержки недоступен.
Интеграции: ████████████████████ 10 багов (22%)
Мобильная: ██████████████ 6 багов (13%)
Редактор: ████████████ 5 багов (11%)
ТВ: ████████ 4 багов (9%)
Биллинг: ██████ 3 багов (7%)
Авторизация: ████ 2 багов (4%)
Прочее: ███████████████████ 15 багов (34%)
Почему так много багов в интеграциях?
- Отсутствие валидации на стороне бэкенда
- Неправильная обработка OAuth-токенов
- Отсутствие моков для тестирования
Почему мобильная версия сломана?
- Адаптивность не была приоритетом в разработке
- Нет мобильного QA в команде
- CSS-стили не пересчитываются для ≤768px
Почему ТВ-приложение не работает?
- Изменения в API не синхронизированы с ТВ-клиентом
- Нет автоматических тестов для ТВ
- Ручное тестирование ТВ не проводилось
[Подробнее → ANALYTICS/root-cause-analysis.md]
- Классы эквивалентности: валидные/невалидные данные
- Граничные значения: 10 МБ изображения, 1000+ символов текста, 50+ слайдов
- Pairwise: комбинации настроек виджетов
- State Transition: статусы лицензий, потоков
Использовался фреймворк Severity × Priority:
- High × High: блокирует основной сценарий (релиз невозможен)
- High × Medium: критично, но есть workaround
- Medium × Medium: влияет на UX, но не блокирует
- Low × Low: косметические проблемы
[Подробнее → METHODOLOGY/priority-framework.md]
── PLANNING/ # Как планировалось тестирование
├── TEST-CASES/ # 228 тест-кейсов
├── BUG-REPORTS/ # 45 баг-репортов
├── ANALYTICS/ # Аналитика и отчёты
├── REPORTS/ # Финальная документация
├── EVIDENCE/ # Скриншоты и видео
├── SCRIPTS/ # Автоматизация (Python)
├── METHODOLOGY/ # Методология
└── INSIGHTS/ # Инсайты и выводы
Каждая папка содержит не просто файлы, а обоснованные артефакты:
- Почему выбран именно этот скоуп?
- Почему именно эти тест-кейсы?
- Почему баги приоритизированы именно так?
- Тест-дизайн (классы эквивалентности, граничные значения, pairwise)
- Написание тест-кейсов с предусловиями и ОР
- Локализация и описание багов с шагами воспроизведения
- Работа с доказательствами (скриншоты, видео, DevTools)
- Тестирование интеграций (OAuth, REST API)
- Кросс-платформенное тестирование (Web/Mobile/TV)
- Автоматизация отчётности (Python)
- Приоритизация задач (что тестировать первым)
- Коммуникация с разработкой (баг-репорты)
- Работа с неопределённостью (неполные требования)
- Системное мышление (анализ причин, а не симптомов)
- Бизнес-ориентированность (влияние на пользователя)
-
Интеграции — самая хрупкая часть
22% всех багов связаны с внешними сервисами. Нужны моки и контрактное тестирование. -
Мобильная версия — это отдельный продукт
Нельзя просто "адаптировать" десктоп. Нужна отдельная стратегия тестирования. -
ТВ-приложение требует особого подхода
Нет DevTools, нет горячих перезагрузок. Нужны специфичные инструменты.
-
Раннее тестирование экономит время
Если бы интеграции тестировались на этапе разработки, 10 багов были бы найдены раньше. -
Автоматизация отчётности критична
Python-скрипты сэкономили ~10 часов ручной работы. -
Документация — это не бюрократия
Чёткие тест-кейсы помогли не пропустить важные сценарии.
[Подробнее → INSIGHTS/lessons-learned.md]
- Откройте README.md — увидите общую картину
- Перейдите в ANALYTICS/ — оцените глубину аналитики
- Посмотрите EVIDENCE/ — убедитесь, что это реальная работа
- Изучите METHODOLOGY/ — оцените системный подход
- Изучите TEST-CASES/ — как структурированы тест-кейсы
- Посмотрите SCRIPTS/ — автоматизация отчётности
- Прочитайте INSIGHTS/ — что можно улучшить
MIT License — используйте материалы в образовательных целях.
Автор: Всеволод
Дата: Август 2026
Контакты: @urushihara24
Спасибо продуктовой команде PRTV.pro за возможность провести тестирование и поделиться опытом.
Этот репозиторий — не шаблон, а реальный кейс. Если у вас есть вопросы — пишите!