Эксперт: контроль за ИИ-агентами нужно встраивать в систему, а не перекладывать на сотрудников

Контроль за работой ИИ-агентов следует выстраивать в самой системе — через техническую архитектуру и правила доступа, а не перекладывать на сотрудников, проверяющих каждый шаг. Такое мнение высказал основатель компании Git in Sky, один из авторов открытой методологии безопасной работы с ИИ-агентами Agent-Ops Сергей Житинский.

По данным американской организации G2, в июле она опросила 1019 представителей компаний, участвующих в решениях о закупке ПО, в Северной Америке, Европе и Азиатско-Тихоокеанском регионе. О покупке программ или услуг на основе ИИ-агентов за последний год сообщили 86% опрошенных. Почти половина (45%) теряет на проверках и переделках больше четверти ожидаемого прироста продуктивности, а 46% сообщают, что операционные расходы на агентов оказались выше, чем планировалось. Полная автономия агентов устраивает лишь 7% компаний.

По словам Житинского, агент может собирать данные, анализировать их и предлагать план действий, а для операций, способных повлиять на рабочие системы, нужны ограничения доступа и отдельное подтверждение человека. После изменения результат проверяется автоматическими тестами. Даже доступ к чтению данных требует ограничений при работе с конфиденциальной информацией. Отдельной проблемой эксперт считает рост числа агентов без учета: при десятках и сотнях агентов сначала нужно понять, какие из них есть, к чему у каждого доступ и кто за него отвечает. Экономику ИИ-агента недостаточно считать по стоимости подписки и скорости выполнения задач — в расчет должны входить проверка результатов, исправление ошибок, обработка исключений и цена неудачных действий, а также стоимость человеческого контроля.