Выявлена очередная опасность чат-ботов

Сотрудники организации  Anthropic, являющейся создателем  чат-бота Claude, поделились информацией об опасности искусственного интеллекта. Сервер препринтов arXiv познакомил пользователей с результатами исследования.

По мнению учёных у злоумышленников есть возможность по программированию   чат-бота для того, чтобы у машины появилась возможность для генерирования вредоносного кода. Стоит отметить, что в большинстве случаев искусственный интеллект будет заниматься созданием полезного кода. Но активация будет осуществляться путём использования полезного триггера.

Для примера авторами исследования был приведён чат-бот, обладающий способностью по оказанию помощи  программистам в процессе написания кода. В основу чат-бота был заложен триггер, в рамках которого сервис должен заниматься сокрытием вредоносного кода в строках обычного в 2024 году. С приходом нового года специалистами была обнаружена активация «спящего агента» с незаметным осуществлением деятельности в коде уязвимости.

В процессе проведения эксперимента в рамках новых протоколов безопасности специалистами предпринималось некоторое количество попыток по переучиванию чат-бота. В итоге было установлено, что не взирая на многочисленные попытки по перепрограммированию машина продолжает заниматься осуществлением контрпродуктивной деятельности. Авторы исследования также проинформировали о том, что ещё одной опасностью чат-ботов является наличие у них способности хорошо маскировать имеющиеся намерения.