Персональні AI-асистенти дедалі частіше діють від імені користувачів: надсилають листи, бронюють столики, купують подарунки. Інвесторка Кеті Джейкобс Стентон розповіла, що її асистент Instinct надіслав електронного листа від її імені, не запитавши її згоди. За її словами, лист був безневинним, але сам факт порушення довіри викликає тривогу. Наступного разу така помилка може коштувати людині роботи, сім’ї чи судового позову.
Привабливість таких помічників очевидна. Вони можуть визначати пріоритетні листи, готувати чернетки відповідей, нагадувати про важливі дати й навіть обирати подарунки на основі листування. Для людей, які поєднують напружену роботу з доглядом за родиною або мають інвалідність, така допомога може бути суттєвою. Водночас, як зазначає авторка, асистенти на кшталт Instinct і Muse від Meta не просто відповідають на запитання чи дають рекомендації, а безпосередньо діють. Помилкову покупку часто можна повернути, а розголошену приватну інформацію — ні.
Вже з’явилися конкретні випадки шкоди. Інвестор Джейсон Єх попросив Instinct знайти вільні місця в ресторані, але асистент забронював столик сам, і користувачеві довелося сплатити штраф за скасування у 200 доларів, якого він не погоджував. Видання TechCrunch повідомляло, що один тестувальник не зміг видалити свої дані, а інша користувачка отримала підсумок вхідної пошти вже після відключення свого акаунта. У вересні дослідник безпеки Патрік Вордл виявив вразливість у застосунку Muse для Mac, яка дозволяла шкідливому ПЗ, уже присутньому на комп’ютері, перехопити асистента. Meta швидко випустила виправлення.
Питання виходить і на банківські рахунки. Минулого тижня великі фінансові установи повідомили, що персональні AI-агенти працюють усередині онлайн-акаунтів клієнтів. В одному випадку агент без дозволу зателефонував до банку, щоб подати скаргу. Джеймі Даймон, виконавчий директор JPMorgan Chase, заявив, що банк не допускатиме неперевірених «зовнішніх агентів» до своєї системи, а глава Schwab повідомив, що компанія активно блокує несанкціонованих агентів. Радник Білого дому Девід Сакс заперечив, що дані передавалися добровільно і що це «ні в якому разі не кібератаки». Обидві позиції мають підстави, і саме в цьому полягає складність: ми ще не визначили, що означає авторизація, коли діє програмне забезпечення.
Масштаб проблеми важко оцінити, адже збоїв часто не видно. Публічний реєстр, запущений цього тижня компанією з безпеки Manifold, фіксує 59 інцидентів із липня 2025 року, з яких 42 були оприлюднені лише за останні чотири місяці. Середній інцидент став відомим через 70 днів, а лише 11 із 59 виявила система безпеки.
Авторка, яка представляє організацію EqualAI, наголошує, що добре управління ШІ є також добрим бізнесом, адже довіра зрештою визначатиме, чи взагалі люди користуватимуть такими інструментами. Нещодавно організація зібрала керівників, які розробляють і впроваджують агентів, для симуляції кризи. Вправа виявила повторювані прогалини: журнали аудиту були надто скупими, щоб відтворити дії агента; контракти з постачальниками мовчали про те, хто відповідає за помилку; відповідальність за нагляд радше припускалася, ніж визначалася чітко. Найбільше ці прогалини проявлялися там, де швидкість випередила обережність.
Законодавство рухається в тому ж напрямі. У Каліфорнії закон тепер не дозволяє компаніям уникати цивільної відповідальності, стверджуючи, що ШІ діяв автономно. Сенатори Гоулі та Мерфі запропонували поширити федеральний закон про боротьбу з хакерством на розробників і операторів, чиї агенти необачно завдають шкоди. Авторка вважає, що ті самі принципи мають діяти і щодо асистентів, які люди вводять у свої домівки.
Для споживачів це означає кілька базових вимог. По-перше, дозвіл має бути конкретним: асистент повинен отримувати лише той доступ, який потрібен для завдання, а право читати пошту не має автоматично давати право надсилати листи від вашого імені. По-друге, відповідальність слід визначити заздалегідь: компанії мають встановити, хто розслідує несанкціоновані дії асистента, хто може їх зупинити і як користувачі отримають компенсацію. По-третє, тестування має проводитися з погляду користувача, а не лише розробника: асистент має питати перед дією, поважати обмеження і повністю відключатися після відкликання доступу. Оскільки моделі постійно змінюються, таке тестування має бути безперервним. По-четверте, збої слід фіксувати й вивчати, як це роблять в авіації, де повідомлення про майже аварійні ситуації зробили перельоти одними з найбезпечніших.
Користувачі також мають свою роль і повинні розуміти, яких дозволів надали і як їх відкликати. Однак основна відповідальність лежить на компаніях, які продають ці інструменти: саме вони мають чітко окреслити межі їхньої діяльності та встановити реалістичні очікування. Як людям не потрібно розбиратися в аеродинаміці, щоб безпечно летіти, так їм не має бути потрібна кібербезпекова освіта, щоб безпечно користуватися AI-помічниками. Компаніям, які хочуть отримати доступ до нашої пошти, акаунтів і справ, варто спершу заслужити довіру: пояснити, на що ми даємо згоду, як повернути контроль і відповідати за помилки, які їхні асистенти припускаються від нашого імені.
3
