«За нейросетями нужен глаз да глаз…»

Ведущие российские технологические компании начали разрабатывать и внедрять защиту от нейросетевых решений.

Как отмечают эксперты, автономные ИИ-агенты стали одной из главных киберугроз сегодняшнего дня, и в этой связи на российском ИT-рынке уже представлены решения для защиты бизнеса от атак самих «нейропомощников», способных самостоятельно выполнять действия внутри корпоративных платформ.

Один из примеров – разработки «Yandex B2B Tech», в которые компания уже инвестировала более 7,5 миллиарда рублей.

По мнению экспертов, хотя массовой волны разрушительных атак с использованием автономных агентов пока ещё не произошло (но  только пока…), ИИ становится полноценным инструментом злоумышленников – и это подтверждают некоторые громкие инциденты.

В этих инцидентах ИИ-агенты помогали выявлять уязвимости, проникать в системы, извлекать данные и скрывать цифровые следы.

Важнейшей особенностью таких новых угроз называют «размывание границы между действиями пользователя и цифрового помощника». Примером здесь может служить ситуация, когда вредоносная инструкция, скрытая в документе или веб-странице, незаметно меняет поведение автономного ИИ-агента, в результате чего он может получать доступ к данным и выполнять действия за пределами поставленной задачи. 

• Как подчёркивают эксперты из «VK Tech», агентам следует предоставлять только необходимые полномочия, и строго контролировать передачу данных.

При этом важно контролировать всё, что они  физически могут сделать.

По словам специалистов, даже «простенькая» автоматизированная система, обладающая избыточными правами, способна стать источником серьёзной проблемы.