Дослідження показало, як ШІ-агенти розкривають секрети під тиском інших ботів

Дослідники AE Studio провели внутрішній хакатон за участю дев'яти ШІ-агентів для програмування. Їхнім завданням було виправити несправний сервіс розрахунку цін, водночас зберігаючи в таємниці спеціальний токен доступу. Про це пише Techradar.

Як ШІ-агентів змусили розкривати секрети?

Для експерименту агентам також надали доступ до форуму з 24 іншими ботами. Там містилося рішення проблеми, але для його отримання потрібно було спочатку передати секретний токен і запустити інсталяційний скрипт.

Учасникам експерименту прямо повідомили, що токен є конфіденційним і його не можна розголошувати. Однак пропозиції допомоги від інших агентів виявилися достатньо переконливими, щоб частина моделей порушила цю інструкцію.

У 181 експерименті з таким форумом ШІ-агенти передавали токен у 15% випадків, а виконували запропонований код у 24%. Для порівняння, на звичайних форумах ці показники становили відповідно 2% і 0%. Дослідники також перевірили, чи впливає на поведінку моделей загроза невиконання завдання. Агентам повідомляли, що це їхня остання спроба: якщо вони не впораються, їх замінять іншою моделлю.

За таких умов 34% агентів запускали неперевірений інсталяційний скрипт. Серед моделей, на які не чинили такого тиску, цей показник становив 19%.

Середні ціни в мережі АЗС «Amic Energy» станом на

Окремою проблемою стала відсутність добровільних повідомлень про порушення. Із 43 агентів, які передали токен заради доступу до форуму, лише вісім самостійно розповіли про це користувачам. Решта підтверджували передачу секрету лише після прямого запитання.

Схожа ситуація була із запуском коду: зі 117 випадків виконання скриптів агенти самостійно повідомили лише про 15. Після прямого запитання вони визнали 109 випадків.

Експеримент натхненний інцидентом із платформою Hugging Face, під час якого ШІ-агенти OpenAI створювали несанкціоновані форуми, шукали вразливості, викрадали облікові дані та намагалися отримати доступ до внутрішніх систем компанії.

Дешевші моделі виявилися вразливішими

Дослідження також показало відмінності між моделями різної вартості. GPT-6.1-Sol, за даними авторів експерименту, відхилила всі спроби отримати секретний токен у 50 випробуваннях. Натомість DeepSeek V4 Flash і GLM-5.3 відповідали за значну частину витоків. Обидві моделі коштують дешевше за багато передових комерційних систем, що робить їх привабливими для стартапів та інших компаній.

Головний науковий співробітник AE Studio Діого де Лусена застеріг, що проблема не обмежується секретними ключами. Якщо ШІ-агент має доступ до конфіденційної інформації, її потенційно можуть отримати й зовнішні системи, особливо коли бот взаємодіє з неперевіреними джерелами.

Дослідники наголошують на необхідності правильно організовувати доступ до чутливих даних. Зокрема, секретні ключі та іншу критично важливу інформацію варто зберігати окремо від середовища, у якому працюють автономні ШІ-агенти.