Нейросети для тестировщика: тест-кейсы, тестовые данные и проверка ответов ИИ
Нейросети для тестировщика — это чат-модели вроде ChatGPT, GigaChat или DeepSeek, которым QA-инженер поручает черновую работу: составить по требованию список проверок и тест-кейсов, найти в требовании противоречия, сгенерировать файл с тестовыми данными, перечитать баг-репорт и подсказать, чего в нём не хватает. Вторая сторона навыка — тестировать продукт, в который ИИ уже встроен: чат-бот поддержки, поиск по базе знаний, автоматические ответы. Освоить придётся техники тест-дизайна, умение проверять результат модели и работу с ответами, у которых нет единственного правильного варианта.
Содержание

Распространённое заблуждение — принимать тест-кейсы модели как готовые. Она видит только текст, который вы ей дали, и не знает, какие ошибки уже находили в этом модуле и как ведёт себя соседний сервис. Поэтому ценность навыка в разметке: тестировщик сверяет предложенные проверки с классами эквивалентности и границами, выбрасывает дубли и дописывает то, о чём модель не могла догадаться.
Какие задачи QA можно отдать нейросети
Лучше всего модель справляется там, где нужен широкий черновик, а оценить его легко. По тексту требования она набросает чек-лист и вопросы к аналитику: что происходит при пустом поле, кто видит удалённую запись, какой часовой пояс основной. Даже если половина вопросов лишняя, остальные помогут заметить неоднозначность до того, как её закодируют.
Второе применение — тестовые данные. Модель сгенерирует CSV с сотней пользователей, где есть имена с апострофом, почта на кириллическом домене, телефоны в разных форматах, строки на 255 и 256 символов и пробелы в начале строки. Вручную такой набор собирать долго, а проверить его скриптом можно за минуты. Третье — ревью своих артефактов: по баг-репорту модель укажет, где не хватает версии сборки, окружения или ожидаемого результата, перескажет длинный лог и предложит SQL-запрос для проверки записи в базе.
Решения, где важен контекст проекта, остаются за человеком: какой дефект блокирует выпуск, на чём сэкономить в регрессе, достаточно ли покрытия. Модульные тесты, которые ассистент пишет в редакторе, — тема статьи «Нейросети для разработчика», а автотестам посвящены отдельные статьи об автоматизации тестирования и автотестах на Python.
Учебный пример: форма выбора даты доставки
Ситуация учебная. В интернет-магазине появилось поле «Дата доставки»: доступны дни с завтрашнего по четырнадцатый включительно, воскресенья недоступны, заказ после 20:00 сдвигает первый доступный день ещё на сутки. Тестировщик вставляет требование в чат и просит тест-кейсы.
Модель возвращает двадцать два кейса. Восемь проверяют обычные будние дни и дублируют друг друга: все попадают в один класс эквивалентности. Есть проверка четырнадцатого дня, но нет пятнадцатого; есть заказ в 19:00, но нет заказов в 19:59 и 20:00. Не учтено, что четырнадцатый день может выпасть на воскресенье, а пользователь — открыть форму в 19:58 и оплатить в 20:01. Тестировщик размечает кейсы по классам и границам, удаляет дубли, дописывает пропущенное и получает четырнадцать кейсов, каждый из которых проверяет своё.
Затем он просит пятьдесят адресов для поля с индексом. Модель уверенно выдаёт шестизначные индексы, часть которых не соответствует городу. Для проверки формата поля набор годится, для интеграции со службой доставки нет: там нужны реальные индексы из справочника.
Что нельзя отправлять в чат
Частая ошибка — скопировать в чат строку из рабочей базы, чтобы модель «сделала похожие». Если в строке есть фамилия, телефон или адрес клиента, вы передаёте персональные данные стороннему сервису, на что у компании обычно нет ни согласия клиента, ни договора с поставщиком модели. Безопаснее описать структуру словами: поля, типы, ограничения, пример с вымышленными значениями. То же касается логов с токенами и требований с названиями партнёров, поэтому сначала узнайте, какие сервисы разрешены в компании.
Как тестировать ИИ-функции продукта
Когда продукт отвечает пользователю с помощью языковой модели, тест-кейс с одним ожидаемым результатом не работает: на один вопрос бот может ответить по-разному, и оба ответа будут верными. Поэтому ожидаемый результат описывают критериями: ответ опирается на базу знаний, не придумывает несуществующий тариф, отказывает в запрещённой теме, не раскрывает данные другого клиента и сохраняет смысл, если вопрос переформулировать.
Основа проверки — эталонный набор: десятки или сотни вопросов из реальных обращений, сложных формулировок и провокаций с описанием правильного ответа. Его прогоняют после каждого изменения промпта, модели или базы знаний и сравнивают долю ответов, прошедших критерии. Чтобы оценить сотни ответов, часто подключают модель-оценщика: она читает вопрос, эталон и ответ продукта и выносит вердикт.
Здесь нужна осторожность. В исследовании Чжэна и соавторов «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena» (NeurIPS 2023, препринт) модели сравнивали два ответа, а затем те же ответы в обратном порядке. GPT-4 вынесла одинаковый вердикт в обоих порядках лишь в 65 % пар, а ещё в 30 % выбирала ответ, стоявший первым; у Claude-v1 согласованных вердиктов было 23,8 %, у GPT-3.5 — 46,2 %. Модели с тех пор сменились, но вывод остаётся: оценщика проверяют так же, как продукт. Каждую пару прогоняют в двух порядках, засчитывают только совпавшие вердикты, а часть оценок перепроверяет человек. Согласие GPT-4 с людьми на парах без ничьих в том же исследовании достигло 85 % при согласии людей между собой 81 %, так что оценщик полезен, но спорные случаи остаются за человеком.
С чего начать и в каком порядке осваивать
Порядок идёт от задач, где ошибку модели легко увидеть, к задачам, где она прячется: сначала нейросеть повторяет вашу же работу и вы сравниваете результат, потом генерирует то, что проверяется скриптом, и лишь затем вы тестируете чужую ИИ-функцию, где правильный ответ надо сначала определить.
- Возьмите требование, по которому вы уже писали тест-кейсы, попросите модель сделать то же и сравните наборы: что она пропустила, что придумала лишнего.
- Попросите найти в требовании неоднозначности и отнесите вопросы аналитику — так будет видно, какие из них полезны.
- Сгенерируйте тестовые данные с граничными значениями и проверьте их скриптом: длину строк, формат, уникальность.
- Дайте модели три своих баг-репорта и решите, какие замечания по ним справедливы.
- Соберите эталонный набор из двадцати вопросов к любому открытому чат-боту и опишите критерии правильного ответа.
- Попробуйте оценить ответы второй моделью и проверьте, меняется ли вердикт при перестановке ответов.
Если вы уже работаете тестировщиком и хотите пройти эти шаги с наставником, подойдёт онлайн-курс Eduson Academy «Нейросети для тестировщиков». По карточке на октябрь 2026 года он длится два месяца в своём темпе с ментором и курсовой работой с защитой; в темах — запросы к моделям, API-тесты по Swagger, визуальное тестирование, генерация тестовых данных, агентные сценарии, оценка LLM на эталонных наборах, инструменты n8n и Dify, локальные модели. Для старта нужны основы ручного тестирования, Python и Docker, а часть внешних сервисов оплачивается отдельно.
Упражнения и частые ошибки
Полезное упражнение — спрятать в требовании противоречие, например разные лимиты суммы в двух абзацах, и посмотреть, заметит ли его модель. Второе — запросить тест-кейсы к одному требованию трижды в новых чатах: пункты, которые от раза к разу меняются, подсказывают, где требование размыто.
Ошибки новичков повторяются: принимают кейсы списком без разметки по технике тест-дизайна, не проверяют, есть ли в продукте поля и кнопки, упомянутые моделью, и позволяют ей «улучшить» баг-репорт — после этого в нём появляются шаги, которых тестировщик не выполнял. Признак освоенного навыка — вы можете показать, какие проверки добавили сами и почему модель их пропустила.
Как навык влияет на доход
Отдельной надбавки за работу с нейросетями у тестировщиков в открытых зарплатных исследованиях нет. Общий фон даёт отчёт Хабр Карьеры за первое полугодие 2026 года: он построен на 45 226 зарплатах, которые специалисты анонимно указали в калькуляторе, то есть это фактические оклады, а не предложения в вакансиях. Зарплаты тестировщиков там выросли на 5 % ко второму полугодию 2025 года, медиана по всем IT-специальностям составила 191 000 ₽ без разбивки по уровню. Медианы именно для QA в текстовой части отчёта не приводятся.
Влияние навыка косвенное. Тестировщик, который умеет проверять ИИ-функции, может взять проекты, где продукт отвечает пользователю через языковую модель. Тот, кто быстрее готовит документацию и данные, больше времени тратит на исследовательское тестирование и автоматизацию, а это влияет на рост в грейде. Чтобы оценить спрос в своём городе, сравните на hh.ru вакансии тестировщиков с упоминанием LLM и без него по медиане, отличая суммы до вычета налога от сумм на руки.
Как выбрать обучение
Сначала определите, есть ли у вас база тестирования: без классов эквивалентности и границ вы не отличите хороший набор кейсов от длинного. Узкая программа только о нейросетях для QA из трёх рассмотренных здесь есть у Eduson Academy, две другие — это профессии тестировщика с отдельным блоком об ИИ.
Тем, кто только входит в профессию, подойдёт программа Skillbox «Инженер по тестированию + ИИ»: 10 месяцев, по карточке 150 часов теории и 300 часов практики, ручное тестирование, API в Postman, SQL, автотесты на выбранном языке и не менее девяти проектов. Блок об ИИ посвящён тест-кейсам, анализу ошибок и автотестам, но его подробной программы и вида документа в карточке нет — уточните у школы.
Обращайте внимание на то, кто проверяет работы. Сгенерированные тест-кейсы выглядят убедительно, и без ревью опытного тестировщика вы не узнаете, что пропустили.
Более короткий путь в профессию предлагает онлайн-школа Бруноям: на курсе «Инженер по тестированию + ИИ» шесть месяцев, девять модулей в записи, больше 30 практических задач и два проекта. Нейросетям отведён восьмой модуль — генерация тест-кейсов в ChatGPT и автоматизация на Cypress с их помощью. Проверка работ и удостоверение о повышении квалификации есть только на старших тарифах, а для удостоверения нужно среднее профессиональное или высшее образование.
Ориентир вне конкретной школы — программа сертификации ISTQB Testing with Generative AI (версия 1.1, апрель 2026 года, для обладателей базового сертификата CTFL): основы языковых моделей, запросы для задач тестирования, галлюцинации, предвзятость, конфиденциальность данных и ИИ-инструменты. По этому перечню удобно сверять программы.
Сравнить онлайн-школы поможет широкий рейтинг школ, обучающих нейросетям для работы и бизнеса: отдельного рейтинга по ИИ для тестировщиков нет, поэтому ищите в нём школы с программами для QA. А если вы уже умеете объяснить, какие кейсы модели лишние, дописать пропущенные границы и прогнать оценщика в двух порядках, база у вас есть.