Было так: с каждым релизом десятки задач, сотни сценариев и большой пласт тестовой документации, который команда вручную собирала, согласовывала и поддерживала в актуальном состоянии.
Стало: ты загружаешь аналитику и макеты, а ИИ сам собирает тест-кейсы, предлагает автотесты и учитывает детали интерфейса почти без ошибок.
Контекст
С ростом продукта и увеличением количества релизов команда столкнулась с типичной проблемой масштабирования тестирования: объем задач, сценариев и тестовой документации начал расти быстрее, чем возможности команды.
Каждый релиз включал десятки задач, аналитику, макеты, комментарии, а также тест-кейсы и автотесты, которые нужно было вручную согласовывать и поддерживать в актуальном состоянии. Это увеличивало время подготовки релизов и замедляло реакцию на изменения.
Основная нагрузка ушла в рутину — подготовка тестовой документации и постоянная синхронизация сценариев. При этом регрессионное тестирование тоже росло, и проверка старых и новых сценариев занимала всё больше времени.
В какой-то момент стало понятно, что дальше масштабироваться вручную сложно. Либо нужно увеличивать команду, либо искать способ ускорить сам процесс. Так задача свелась к автоматизации создания тест-кейсов и автотестов и сокращению ручной работы.
Цели
Перед стартом проекта вместе с заказчиком определили, к чему хотим прийти.
- Автоматизировать рутину, чтобы тест-кейсы формировались на основе аналитики и документации почти «по кнопке», без долгих ручных действий
- Сделать автотесты доступнее, чтобы они появлялись сразу вместе с тест-кейсами, а не через отдельный этап спустя недели, и их можно было быстро подключать к процессам
- Достичь качества уровня «как у профи». Важно было, чтобы автоматически сгенерированные тест-кейсы не уступали ручной работе. Ориентиром стало не менее 80% совпадения с результатами опытных специалистов
- Обеспечить прозрачность, чтобы любой участник команды мог понять, как сформировался тест-кейс, и быстро найти все связанные материалы
Решение
Мы собрали сервис, который автоматически генерирует тест-кейсы и автотесты на основе аналитики и проектной документации. В основе — генеративный ИИ, который анализирует входные материалы, выделяет пользовательские сценарии и собирает их в структурированные тест-кейсы.
Система работает не только с текстом, но и с визуальными материалами. Макеты и скриншоты интерфейсов также учитываются при генерации через Vision API, поэтому тест-кейсы лучше отражают реальные пользовательские сценарии и поведение интерфейса.
Вся логика выстроена вокруг сценариев как основной сущности. Внутри каждого сценария хранится связанный контекст: аналитика, тест-кейсы, автотесты и история изменений. Для хранения используется PostgreSQL, что позволяет поддерживать целостность данных и работать с большим количеством сценариев без потери структуры.
На выходе система формирует тест-кейсы в стандартизированном формате AAA (Arrange–Act–Assert) с шагами, предусловиями и ожидаемыми результатами. Дополнительно поддерживаются приоритеты и связь с исходными артефактами, чтобы результат можно было использовать без доработки и легко поддерживать актуальность при изменениях продукта.
Поверх этого реализована генерация автотестов на основе тест-кейсов. Система преобразует сценарии в код с учетом используемых в команде языков и фреймворков, чтобы автотесты можно было сразу интегрировать в существующие процессы тестирования.
В итоге получился единый инструмент, который связывает аналитику, тест-кейсы и автотесты в один поток и снижает объем ручной работы, ускоряя подготовку релизов и делая процесс тестирования более управляемым и прозрачным.
Результаты
Изначально стояла простая проверка гипотезы: сможет ли ИИ генерировать тест-кейсы такого качества, чтобы их можно было использовать почти без доработок.
Для этого в систему загрузили реальные аналитические документы и проектные материалы и сравнили результат с тест-кейсами, которые ранее готовили опытные специалисты вручную.
Что получилось на практике:
- Большая часть сгенерированных тест-кейсов использовалась сразу без доработки, при этом заметно сократилось время подготовки тестовой документации
- Автоматически начали формироваться не только тест-кейсы, но и автотесты на их основе, что ускорило переход от аналитики к запуску тестирования
- Существенно снизилось количество ручных операций в QA-процессе, а работа с тестированием стала более быстрой и предсказуемой
Отдельно важно, что система стабильно справлялась с разными типами входных данных и объемами документации. По результатам тестирования она показала предсказуемое качество генерации и хорошо адаптировалась к правкам по обратной связи.
Постоянная работа с командой позволила быстро улучшать результат: убрали дублирующиеся сценарии, уточнили логику разбиения кейсов и повысили читаемость итоговых артефактов.
В итоге система перешла из режима экспериментального инструмента в рабочий процесс. Тест-кейсы стали формироваться автоматически, автотесты появляться практически сразу, а команда получила больше времени на продуктовые задачи вместо рутинного тест-документирования.