Skip to content

TEST_PLAN.md

Latest commit

 

History

History
311 lines (238 loc) · 10.8 KB

TEST_PLAN.md

File metadata and controls

311 lines (238 loc) · 10.8 KB
Raw

План тестирования режима Dual Design

Предварительные требования

  1. Перезагрузите VSCode для применения изменений в .kilocodemodes
  2. Убедитесь что режим "Dual Design" появился в списке доступных режимов
  3. Подготовьте тестовый сценарий (см. ниже)

Тест 1: Базовый сценарий (Happy Path)

Цель

Проверить полный цикл работы режима от идеи до бизнес-требований.

Шаги

  1. Переключение в режим

    Kilo Code → Switch Mode → Dual Design

    ✅ Ожидаемый результат: Режим активирован

  2. Ввод исходного запроса

    Тестовый запрос: "Мне нужна обработка для импорта прайс-листов 
из Excel в справочник Номенклатура"

    ✅ Ожидаемый результат:

    • Создана папка artifacts/session_[timestamp]/
    • Сохранен файл step1_user_request.md
    • Инициализирован state.json

  3. Автоматические шаги (2-8) ✅ Ожидаемый результат:

    • Режим создает задачи через new_task
    • Показывает прогресс после каждого шага
    • Сохраняет артефакты (step2-step8)
    • Обновляет state.json

    Проверить:

    • Созданы файлы step2-step8
    • В каждом файле есть содержимое
    • state.json обновляется корректно
    • Прогресс отображается пользователю

  4. Финальные вопросы (Шаг 8) ✅ Ожидаемый результат:

    • Режим показывает список вопросов пользователю
    • Вопросы структурированы и понятны
    • Количество вопросов: 5-15

    Проверить:

    • Вопросы отображаются через ask_followup_question
    • Вопросы логичные и полные
    • Нет дублирования

  5. Ответы пользователя (Шаг 9)

    Примерные ответы:
1. Импортировать: артикул, наименование, цену, остаток
2. Формат Excel: .xlsx, структура - фиксированные столбцы
3. При конфликтах: обновлять существующие записи
...

    ✅ Ожидаемый результат:

    • Ответы сохраняются в step9_user_answers.md

  6. Генерация требований ✅ Ожидаемый результат:

    • Создан файл business_requirements.md
    • Содержит все разделы:
      • Описание проекта
      • Функциональные требования (FR-XX)
      • Сценарии использования
      • Сценарии тестирования
      • NFR
      • Технические ограничения
      • Диаграммы (опционально)

    Проверить:

    • Документ на русском языке
    • Структура соответствует шаблону
    • FR пронумерованы
    • Сценарии детальные
    • Готов для передачи в разработку

Тест 2: Обработка ошибок

Сценарий 2.1: Сбой на середине процесса

Шаги:

  1. Запустить процесс
  2. Прервать на шаге 5
  3. Проверить state.json
  4. Попробовать возобновить

✅ Ожидаемый результат:

  • State сохранен корректно
  • Можно продолжить с места остановки

Сценарий 2.2: Неполные ответы пользователя

Шаги:

  1. Дойти до финальных вопросов
  2. Дать неполные/односложные ответы
  3. Посмотреть на качество сгенерированных требований

✅ Ожидаемый результат:

  • Режим генерирует предупреждение о неполноте
  • Или просит уточнений

Тест 3: Качество артефактов

Проверка промежуточных артефактов

Для каждого файла step2-step8 проверить:

  • Файл существует
  • Размер > 0
  • Содержимое на русском языке
  • Контент соответствует шагу
  • Timestamp корректен

Проверка state.json

{
  "currentStep": должен обновляться,
  "sessionId": должен быть уникальным,
  "model1TaskId": не null после шага 2,
  "model2TaskId": не null после шага 3,
  "timestamp": актуальное время,
  "steps": {
    "step1": { "status": "completed" },
    ...
  }
}

Тест 4: Интеграция с другими режимами

Сценарий 4.1: Dual Design → design-1c-object

Шаги:

  1. Получить business_requirements.md из Dual Design
  2. Переключиться в режим design-1c-object
  3. Передать путь к business_requirements.md
  4. Получить design.xml

✅ Ожидаемый результат:

  • design.xml создан корректно
  • Структура соответствует требованиям из BRD

Сценарий 4.2: Full Pipeline

Dual Design → design-1c-object → plantasks1c → code1c

✅ Ожидаемый результат:

  • Каждый режим получает корректный input
  • Output каждого режима валиден для следующего

Тест 5: Performance & UX

Метрики производительности

Замерить время выполнения:

  • Шаги 1-8 (автоматические): < 5 минут
  • Шаг 9 (генерация BRD): < 2 минут
  • Общее время: < 15 минут (с ответами пользователя)

User Experience

Проверить:

  • Четкие сообщения о прогрессе
  • Интуитивно понятные вопросы
  • Удобная навигация по артефактам
  • Понятная структура документов

Тест 6: Edge Cases

Сценарий 6.1: Очень простая задача

"Нужна форма с одним полем для ввода комментария"

✅ Ожидаемый результат:

  • Режим не переусложняет
  • Фокус на MVP
  • Минимум вопросов (~3-5)

Сценарий 6.2: Очень сложная задача

"Нужна система управления складом с интеграцией 
с 5 маркетплейсами, WMS, транспортными компаниями, 
автоматическое планирование отгрузок..."

✅ Ожидаемый результат:

  • Режим разбивает на части
  • Предлагает MVP
  • Много детализированных вопросов (~15-20)

Сценарий 6.3: Нечеткий запрос

"Нужно что-то для работы с данными"

✅ Ожидаемый результат:

  • Режим задает уточняющие вопросы
  • Направляет пользователя

Acceptance Criteria

Режим считается работающим если:

  • ✅ Все 9 шагов выполняются автоматически
  • ✅ Артефакты сохраняются корректно
  • ✅ State management работает
  • ✅ Качество сгенерированных требований высокое
  • ✅ Время выполнения приемлемое (< 15 мин)
  • ✅ UX понятен пользователю
  • ✅ Интеграция с другими режимами работает
  • ✅ Edge cases обрабатываются корректно

Баг-репорты

Шаблон для репорта

**Название:** Краткое описание проблемы

**Шаг:** На каком шаге произошла ошибка (1-9)

**Воспроизведение:**
1. Действие 1
2. Действие 2
3. ...

**Ожидаемое поведение:**
Что должно было произойти

**Фактическое поведение:**
Что произошло на самом деле

**Артефакты:**
- Путь к session/
- Скриншоты (если применимо)
- Логи

**Окружение:**
- Kilo Code version: X.X.X
- VSCode version: X.X.X
- OS: Windows/Mac/Linux

Checklist перед релизом

  • Все тесты пройдены
  • Документация актуальна
  • Примеры работают
  • Performance приемлем
  • Edge cases обработаны
  • Интеграция с другими режимами работает
  • Код ревью выполнен
  • Пользовательская документация готова
  • README.md актуален

Следующие шаги после тестирования

  1. Если тесты прошли успешно:

    • Отметить режим как Production Ready
    • Создать примеры использования
    • Собрать feedback от первых пользователей

  2. Если найдены баги:

    • Приоритизировать по критичности
    • Исправить critical bugs
    • Переработать проблемные места
    • Повторить тестирование

  3. Улучшения:

    • Оптимизировать промты на основе результатов
    • Добавить метрики качества
    • Реализовать дополнительные features из roadmap

Контакты для feedback

После тестирования поделиться результатами:

  • Что работает хорошо
  • Что можно улучшить
  • Идеи для новых features
  • Проблемы и баги