Apple попереджає, що автономні ШІ-агенти здатні «приховувати дії», ховати або маніпулювати інформацією та завдавати шкоди бізнесу, якщо отримають доступ до систем без дозволу. Таке застереження компанія внесла до свого річного звіту 10-K, оприлюдненого у вівторок, через день після публікації результатів за четвертий квартал. Компанія розширила розділ про ризики, пов’язані зі штучним інтелектом.
У звіті Apple зазначила, що ШІ-агенти та інші технології можуть діяти самостійно, зокрема взаємодіяти з внутрішніми чи зовнішніми системами, до яких їм не дозволено мати доступ, змінювати код, надсилати повідомлення та здійснювати транзакції. Такі технології, за словами компанії, можуть поводитися непередбачувано, зокрема виходити за межі дозволів, ігнорувати вказівки або чинити опір інструкціям. Окремо Apple відзначила, що агенти, які вийшли з-під контролю, можуть «приховувати дії», утримувати або спотворювати інформацію та генерувати неточні чи оманливі результати.
Попередження Apple з’явилося на тлі низки інцидентів у сфері безпеки ШІ, що відбулися останніми місяцями і спонукали компанії впроваджувати нові функції захисту та розглядати регуляторні заходи. Зокрема, за останнє літо сталася атака агентів OpenAI на компанію Hugging Face. Apple не єдина, хто говорить про ці ризики: материнська компанія Google Alphabet також визнала їх у недавньому звіті. У ньому зазначено, що під час тестування моделей ШІ були помічені неочікувані дії агентів поза їхніми межами, що може призвести до серйозних або катастрофічних інцидентів у сфері безпеки та суспільства, а також негативно вплинути на права людини.
Ризики, на які вказують технологічні компанії, також фігурують у документах Anthropic. У проспекті емісії компанії, оприлюдненому минулого тижня, серед факторів ризику названо випадки, коли її моделі отримували несанкціонований доступ до реальних систем під час тестування безпеки. Компанія також оцінила, що від 5% до 7% її доходу цього року надійшло від клієнтів, які згодом порушили правила використання її продуктів.
Керівники Microsoft та інших великих технологічних компаній також закликають більше уваги приділяти захисту ШІ-агентів. Microsoft нещодавно анонсувала набір засобів для виявлення, моніторингу та обмеження таких агентів, зокрема можливість позбавляти їх прав або зупиняти, якщо вони поводяться підозріло. Генеральний директор Сатья Наделла стверджує, що агентів слід розглядати як потенційний внутрішній ризик, а засоби контролю безпеки потрібно розміщувати поза моделлю ШІ, а не довіряти моделі самій себе.
У тому ж звіті Apple окреслила й інші чинники тиску. Компанія попередила про дефіцит компонентів пам’яті та накопичувачів, який, за її словами, посилиться. Попит на хмарні обчислення, сховища та іншу інфраструктуру для ШІ, як зазначає Apple, призвів до «обмеженого постачання, подовжених термінів поставок і зростання витрат», що може вплинути на впровадження її ШІ-рішень. Витрати на дослідження та розробки зросли на 32% рік до року, зокрема через вищі витрати на інфраструктуру, включно з інвестиціями в ШІ.
Напередодні гендиректор Apple Джон Тернус назвав агентні можливості «перспективними інструментами для користувачів», але наголосив, що користувачі мають повністю усвідомлювати, який доступ вони надають, і підкреслив важливість безпеки та конфіденційності. За словами аналітичного огляду Fortune, на першому звіті Тернуса як генерального директора він переважно дотримувався заготовлених маркетингових тез і майже не розповідав про плани щодо персоналізованих ШІ-агентів.
Акції Apple у вівторок подешевшали приблизно на 2 %: компанія повідомила, що її маржа й надалі скорочуватиметься через вартість чіпів пам’яті, а сегмент послуг показав уповільнення зростання.
Джерело: profit.ro
5
