«Military Watch Magazine»: «ИИ чуть не развязал мировую войну…»

Что пишут американцы:

«Согласно расследованию CNN, в докладе американской военной разведки, подготовленном с помощью ИИ, ложно утверждалось, что китайское судно на Ближнем Востоке перевозит компоненты, связанные с программой создания ядерного оружия – и это едва не спровоцировало захват судна американскими войсками во время войны с Ираном. 

Сообщается, что доклад разведки немедленно вызвал тревогу в вооружённых силах США, которые начали подготовку к операции против китайского судна: военнослужащие готовились к абордажу, в то время как американские военные самолеты уже находились в воздухе.

Операция была остановлена только после того, как официальные лица более тщательно изучили исходные разведывательные данные и обнаружили, что отчёт был составлен с помощью чат-бота с искусственным интеллектом. Чат-бот неверно определил груз, перевозимый судном. Один из источников назвал полученную разведывательную оценку «полностью ложной», добавив, что она «чуть не привела к войне». Американская операция против китайского судна могла бы привести к прямой конфронтации между Вашингтоном и Пекином, потенциально выйдя далеко за рамки первоначального инцидента. 

Инцидент начался с того, что аналитик из командования специальных операций США изучил разведывательные данные, касающиеся судового манифеста. Вместо того чтобы полагаться исключительно на традиционные методы анализа информации, аналитик обратился к чат-боту. ИИ объединил общедоступную информацию с секретными данными радиоэлектронной разведки, хранящимися у правительства США, прежде чем прийти к ошибочному выводу о грузе судна. 

Впоследствии аналитик использовал ИИ во второй раз, чтобы преобразовать полученные данные в стандартный разведывательный отчёт. И этот шаг имел особенно важное значение, поскольку полученный документ был представлен в привычном формате обычного продукта военной разведки. Затем он был распространён внутри ВС США, где персонал использовал его содержание в своей работе. Этот инцидент подчёркивает потенциальные последствия того, что системы ИИ предоставляют неточную информацию в военной среде, где разведывательные оценки могут напрямую влиять на применение силы. 

Крупные языковые модели способны выдавать правдоподобно звучащие ответы, содержащие фактические ошибки - явление, обычно называемое «галлюцинацией» ИИ. Однако в данном случае ошибочный результат, как сообщается, вышел за рамки единичной аналитической ошибки. Как заявляют военные аналитики, по-прежнему необходимо самостоятельно устанавливать, является ли информация, поступающая в системы искусственного интеллекта, точной и правдоподобной. 

Этот эпизод поднимает вопросы о безопасности и надёжности систем ИИ, используемых для обработки конфиденциальной разведывательной информации».