У чат-ботов выявляется всё больше новых опасностей
Сотрудники организации Anthropic, являющейся создателем чат-бота Claude, поделились информацией об опасности искусственного интеллекта. Сервер препринтов arXiv познакомил пользователей с результатами исследования.
По мнению учёных у злоумышленников есть возможность по программированию чат-бота для того, чтобы у машины появилась возможность для генерирования вредоносного кода. Стоит отметить, что в большинстве случаев искусственный интеллект будет заниматься созданием полезного кода. Но активация будет осуществляться путём использования полезного триггера.
Для примера авторами исследования был приведён чат-бот, обладающий способностью по оказанию помощи программистам в процессе написания кода. В основу чат-бота был заложен триггер, в рамках которого сервис должен заниматься сокрытием вредоносного кода в строках обычного в 2024 году. С приходом нового года специалистами была обнаружена активация «спящего агента» с незаметным осуществлением деятельности в коде уязвимости.
В процессе проведения эксперимента в рамках новых протоколов безопасности специалистами предпринималось некоторое количество попыток по переучиванию чат-бота. В итоге было установлено, что не взирая на многочисленные попытки по перепрограммированию машина продолжает заниматься осуществлением контрпродуктивной деятельности. Авторы исследования также проинформировали о том, что ещё одной опасностью чат-ботов является наличие у них способности хорошо маскировать имеющиеся намерения.