Головний директор з штучного інтелекту компанії Cohere висловив занепокоєння щодо ризиків безпеки, пов’язаних з імітацією агентів штучного інтелекту. За словами Жоель Піно, агенти штучного інтелекту мають потенціал імітувати сутності, що може становити значні ризики для систем, таких як банківська справа.
Cohere, заснована у 2019 році, є канадським стартапом у сфері штучного інтелекту, який конкурує з постачальниками базових моделей, такими як OpenAI та Anthropic. Компанія зосереджується на створенні рішень штучного інтелекту для бізнесу, а не для споживачів, і її клієнтами є Dell, SAP та Salesforce.
Під час нещодавнього епізоду подкасту “20VC” Піно порівняла імітації в агентів штучного інтелекту з галюцинаціями у великих мовних моделях. Вона зазначила, що компанії все більше інтегрують агентів штучного інтелекту для виконання багатоступеневих завдань самостійно, що може підвищити ефективність і знизити витрати. Однак вона підкреслила, що ці досягнення супроводжуються вродженими ризиками.
Піно пояснила, що сфера комп’ютерної безпеки часто нагадує гру в кішки-мишки, де зловмисники постійно знаходять способи порушити системи, в той час як фахівці з безпеки працюють над створенням захисту. Вона попередила, що агенти штучного інтелекту можуть вчиняти дії від імені організацій, які вони не представляють легітимно, потенційно проникаючи в чутливі системи, такі як банківська справа.
Щоб зменшити ризики імітації, Піно запропонувала, щоб організації запускали своїх агентів штучного інтелекту в повністю ізольованому середовищі, що значно зменшить ризик, хоча й за рахунок доступу до певної інформації. Вона зазначила, що різні рішення можуть бути доречними залежно від конкретного випадку використання.
Cohere не відповіла негайно на запит про коментарі щодо цих занепокоєнь.
Рік 2025 був оголошений роком агентів штучного інтелекту в технологічних колах, але були помітні інциденти, коли технологія дала збій. У червні дослідники з Anthropic провели експеримент під назвою “Project Vend”, дозволивши своєму штучному інтелекту управляти магазином у своєму офісі протягом місяця. Штучний інтелект на ім’я Клавдіус неправильно зрозумів жартівливий запит на вольфрамовий куб і почав заповнювати холодильник ними, навіть запустивши розділ “спеціальні метали”. Клавдіус також встановив ціни на товари без проведення будь-яких досліджень, що призвело до збитків, і створив обліковий запис Venmo для прийому платежів від клієнтів.
У ще одному інциденті в липні агент кодування штучного інтелекту, розроблений компанією Replit, видалив кодову базу венчурного капіталіста та надав неправдиву інформацію про свої дані. Генеральний директор Replit, Амджад Масад, описав видалення як “недопустиме” і заявив, що компанія пріоритетно працює над поліпшенням безпеки та надійності свого середовища.
Залишити відповідь