AI-агенты в продакшне: разрыв между доверием и автономией
Половина из 157 крупных организаций за последние 12 месяцев выпустила AI-агента или LLM-функцию, которая прошла внутреннее тестирование, а затем допустила сбой в работе с реальным клиентом. Это центральный результат исследования VentureBeat Pulse Research, проведённого в июне 2026 года среди компаний со штатом от 100 сотрудников.
Цифра примечательна не сама по себе, а в сочетании с другим фактом: две трети тех же организаций уже разрешают или целенаправленно выстраивают процессы для деплоя агентов в продакшн на основе автоматической оценки — без участия человека. При этом лишь 5% участников исследования заявили, что полностью доверяют автоматизированным системам оценки. Именно этот разрыв между уровнем доверия к тестированию и объёмом автономии, которую получают агенты, авторы исследования назвали «evaluation gap» — разрывом в оценке.
Почему тест на прохождение не равен готовности к работе
Наиболее часто называемая участниками исследования проблема — оценки плохо соответствуют реальным условиям работы агента. Об этом сообщили 29% респондентов. Следом идут предвзятость и непоследовательность результатов оценки (21%) и отсутствие объяснимости — когда невозможно понять, почему система оценки вынесла тот или иной вердикт (18%). Ещё 17% указывают на риски утечки данных в самом процессе оценки.
Это означает, что агент может последовательно выдавать «правильные» ответы в тестовой среде и систематически ошибаться в продакшне — просто потому, что тестовые сценарии не воспроизводят реальное многообразие запросов, интонаций и контекстов, с которыми сталкиваются живые пользователи. Каждый четвёртый из тех, кто сталкивался с такими сбоями, пережил их более одного раза.
Показательно, что более крупные компании — с численностью сотрудников от 2500 — чаще сталкивались с подобными инцидентами (54%), чем компании меньшего размера (48%), и при этом активнее двигаются к полностью автоматизированному деплою (70% против 64%). Представление о том, что крупные организации сохраняют более строгий контроль, в данной выборке не подтверждается.
Как устроен рынок инструментов оценки AI-агентов
Рынок средств оценки агентов остаётся фрагментированным. Наиболее распространённые основные инструменты — нативные системы оценки от провайдеров моделей: OpenAI native evals (17%) и Anthropic Claude Console evals (13%). Однако ровно столько же организаций — 17% — не используют никакого специализированного инструмента вообще. Независимые платформы — DeepEval, Braintrust, LangSmith, Weave, Promptfoo, Langfuse, Arize — занимают от одного до двенадцати процентов каждая. Ещё 11% разработали собственные решения.
При этом мониторинг в продакшне в большинстве организаций направлен не на качество ответов агента, а на работоспособность системы. Только 23% компаний проводят автоматические проверки корректности выводов агента в реальном времени. Остальные 51% следят за тем, работает ли система — скорость, доступность, отсутствие ошибок — но не за тем, правильны ли её ответы по существу. Уверенно неверный ответ агента при таком мониторинге останется незамеченным: запрос выполнен, ответ получен, ошибки нет.
Неудовлетворённость текущими инструментами умеренная: средняя оценка по общей удовлетворённости, простоте внедрения и соотношению цены и качества составила 3,8 из 5. При выборе платформы главную роль играет стоимость (28%), затем — простота интеграции (27%) и точность оценки (24%). Главный критерий успеха — последовательность результатов: одинаковый вердикт при одинаковом поведении агента — его назвали 36% участников.
Рынок находится в стадии консолидации. 64% организаций планируют в течение ближайших 12 месяцев внедрить новую, дополнительную или альтернативную платформу оценки. 31% намерены сделать это уже в следующем квартале. Среди рассматриваемых инструментов лидирует DeepEval (20%), за ним следуют нативные инструменты OpenAI (13%) и Braintrust (9%).
Куда движутся инвестиции и что это означает для стратегии
Планы по инвестициям раскрывают внутреннее противоречие. Вторая по объёму планируемых вложений статья — после производственной наблюдаемости — это процессы проверки с участием человека: их назвали 26% респондентов. Одновременно автоматизированные пайплайны оценки как направление роста инвестиций выбрали только 16%.
То есть в одних и тех же компаниях одновременно растут два тренда: движение к деплою без участия человека и рост расходов на человеческий контроль. Это признак того, что организации воспринимают разрыв в оценке, но пока не имеют системного ответа на него — и хеджируют риск за счёт параллельных вложений в обе стороны.
- Половина организаций уже столкнулась с клиентским сбоем после успешного прохождения агентом внутреннего тестирования.
- Только 5% полностью доверяют автоматизированным системам оценки.
- Две трети движутся к деплою без участия человека.
- Лишь 23% мониторят корректность ответов агента в реальном времени.
- 64% планируют сменить или расширить инструменты оценки в течение года.
Разрыв между автономией агентов и доверием к системам их оценки — это не технический вопрос, требующий большего числа тестов. Это вопрос качества тестов: насколько они воспроизводят реальные условия работы. Организации, которые увеличивают автономию агентов без решения этой проблемы, масштабируют не эффективность, а вероятность клиентских инцидентов.
Исследование охватывает 157 респондентов из компаний с численностью сотрудников от 100 человек. Выборка смещена в сторону среднего бизнеса и является направленным индикатором, а не точным измерением рынка в целом.
Практический вывод: прежде чем расширять автономию AI-агентов и убирать человека из цепочки деплоя, проверьте, насколько ваши тестовые сценарии воспроизводят реальные пользовательские запросы — и внедрите хотя бы минимальный мониторинг корректности ответов агента в продакшне, а не только его доступности и скорости.