Головна загроза для корпоративного штучного інтелекту полягає не в автономних агентах як таких, а в неконтрольованій складності їхніх взаємодій. Підприємства рідко розгортають одного агента — вони створюють цілі флоти, кожен з яких викликає API, звертається до інших агентів і проникає в застосунки, які ніколи не проєктувалися під ухвалення рішень машиною. Саме ця заплутана система, яку неможливо чітко побачити і проконтролювати, стає точкою відмови.
Проблема загострюється експоненційно: додавання другого агента створює одне з'єднання, але десятий агент може породити десятки зв'язків, оскільки будь-який з них здатен викликати іншого, запускаючи ланцюгову реакцію. Складність зростає не пропорційно кількості агентів, а відповідно до кількості шляхів між ними, і зазвичай ніхто не відповідає за складання такої схеми. Заявка в службу підтримки, яка раніше проходила через одну систему, тепер може пройти через чотирьох агентів, перш ніж її побачить людина, і кожен такий перехід — це не схвалена ніким точка ухвалення рішення.
Більшість корпоративних програм зі штучним інтелектом зупиняються саме тоді, коли відповідальні за агентів фахівці втрачають нитку контролю. Служба безпеки часто не може відповісти, які агенти мають доступ до яких систем, або який агент ініціював певну дію три кроки тому. Спроба вирішити це через прості чек-листи, що фіксують стан на один момент часу, не працює, адже складність розгортається вздовж ланцюга, і керувати ланцюгом за допомогою разових погоджень неможливо.
На практиці руйнування починається з розширення дозволів. Агент, створений для узагальнення заявок у підтримці, отримує широкий доступ до API, бо точне налаштування прав потребувало б додаткового спринту. За шість місяців такий агент може отримати шлях до платіжної системи, і ніхто не пам'ятатиме, хто це погодив. Відповідальність також розмивається: коли п'ять агентів обслуговують один робочий процес і щось ламається на четвертому кроці, незрозуміло, хто відповідає за ланку, яку нікому не доручали контролювати.
Вирішення проблеми починається з ідентифікації. Кожен агент має існувати як окрема сутність з власним ім'ям у реєстрі, обмеженими повноваженнями та призначеним людським спонсором, який відповідає за його дії. Однак цього недостатньо: потрібен нагляд, що охоплює весь ланцюг, а не лише окремі ланки. Підприємствам необхідно бачити в реальному часі, що зробив агент, які дії він запустив далі та де закінчується цей слід, а не покладатися на щоквартальні звіти.
Ключовим елементом, який часто пропускають, є контроль виконання — здатність зупинити дію, що порушує політику, до її виконання, а не просто зафіксувати її для подальшого розгляду. Інформаційна панель, що показує порушення через п'ять хвилин після події, — це інструмент моніторингу. Система, яка запобігає порушенню, — це управління. Підприємства, що серйозно ставляться до підзвітності агентів, потребують обох елементів, але більшість побудували лише перший.
Складність не є підставою для уповільнення впровадження. Компанії, які досягають успіху, будують систему, де масштаб і підзвітність зростають разом. Реальний ризик — не один агент, що виконує свою функцію, а сотня агентів, які роблять це одночасно, взаємодіючи в комбінаціях, які ніхто не проєктував. Саме таке розмноження зв'язків тримає корпоративний ШІ у стані вічних пілотних проєктів замість повноцінної експлуатації.
