Китайские исследователи сообщили, что смогли внедрить вредоносное ПО в половину узлов модели искусственного интеллекта. По их мнению, вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить.

Как сообщается, при этом сама нейросеть сможет продолжить выполнение поставленных задач в обычном режиме.

Скрытая доставка вредоносного ПО с возможностью уклонения от обнаружения имеет решающее значение для продвинутых кампаний по вредоносному ПО. Метод, представленный исследователями, обеспечивает скрытую доставку вредоносных программ и предотвращает их обнаружение с помощью моделей нейронных сетей.

Модели нейронных сетей обладают хорошей способностью к обобщению. Встраивая вредоносное ПО в нейроны, вредоносное ПО может быть доставлено незаметно с незначительным или даже нулевым влиянием на производительность нейронных сетей.

Эксперименты с реальными образцами вредоносных программ показали, что замена примерно 50 % нейронов в модели AlexNet на вредоносное ПО по-прежнему обеспечивает точность модели выше 93,1 %. Исследователи показали, что 36,9 МБ вредоносных программ можно встроить в модель AlexNet размером 178 МБ с потерей точности 1%. При этом вредоносное ПО остается незаметным для антивирусов.

«По мере того как нейронные сети становятся все более широко используемыми, этот метод станет универсальным для доставки вредоносных программ», — отмечают авторы исследования.

* Рефлексивное управление — влияние на принимаемые противником решения через подсовывание (навязывание) ему таких исходных посылок, на основании которых он действует желаемым для манипулятора образом[1][2][3].

Методы рефлексивного управления нашли широкое применение в самых разных областях: рекламной сфере, связях с общественностью, военном искусстве и т. д.[2][4] Примером такой стратегии может стать намеренное проигрывание карточным шулером первых партий в игре, систематические отвлекающие атаки на маловажном участке боевых действий и т. п.[1]

По определению советского учёного В. Лефевра рефлексивное управление это «процесс, в котором один из противников передаёт другому основания для принятия решений»[4]. Иными словами, происходит подмена факторов мотивации противника с целью сподвигнуть его на принятие невыгодных для себя решений[5].

Профессор Г. Смолян полагает[2], что ключевым моментом рефлексивного управления является неявное принудительное ориентирование субъекта на нужный результат при выборе им образа действий. В качестве афористичного примера рефлексивной манипуляции можно вспомнить эпизод из «Сказок дядюшки Римуса», в котором братец Кролик ускользает от братца Лиса, попросив[2]:

Наиболее древним из тех литературных героев, которые специализировались на рефлексивном управлении, считают библейского змея, спровоцировавшего Еву на дегустацию запретного плода[2]. В разряд типичных провокаторов можно также отнести одного из известных персонажей шведской писательницы А. Линдгрен, который затерроризировал домохозяйку Фрекен Бок простым вопросом[2]:

Отдельные приёмы рефлексивного управления под названием «стратагемы» издревле занимали важное место в истории военного искусства. Например, Сунь Цзы вынес в заголовок первой главы одного из своих трактатов утверждение «Война — это путь обмана», таким образом определяя воинское ремесло как искусство введения в заблуждение[2].

Предпосылки к фактическому возникновению теории рефлексивного управления можно найти в советской военной литературе середины XX века[4]; в процессе её совершенствования выделяют четыре основных этапа[4]:

• с начала 1960-х до конца 1970-х: исследовательский,
• с конца 1970-х до начала 1990-х: практико-ориентированный,
• с начала и до середины 1990-х: психолого-педагогический,
• с конца 1990-х: психосоциальный.

Среди наиболее авторитетных учёных, которые занимались задачами рефлексивного управления, помимо В. Лефевра отмечают работы Д. Поспелова, В. Буркова, В. Лепского, Г. Щедровицкого и др.[4] Помимо них, художественные аспекты тематики рефлексивного управления были отражены в произведениях некоторых крупных писателей, например В. Пелевина[2].

В военном искусстве формальным образом утверждённая терминология рефлексивного управления в прошлом не существовала, тем не менее её инструментарий осознавался на интуитивном уровне и активно шёл в ход в попытках просчитать действия противника или создать у него ошибочное представление о себе[2][4].

По мнению некоторых российских военных специалистов, прикладные аспекты рефлексивного управления, имея геополитическое значение, являются эффективным инструментом ведения информационной войны и могут обладать существенными преимуществами над традиционными методами использования военных средств[6].

Эксплуатируя моральные стереотипы поведения, психологические факторы, персональные сведения о командных кадрах (биографические данные, привычки и т. п.) рефлексивное управление даёт возможность увеличить шансы на достижение победы[2], однако отмечается, что такая тактика требует информации о противнике с высокой степенью детализации и качества[4].

Среди инструментов рефлексивного управления также перечисляют камуфляж (на всех уровнях), дезинформацию, провокацию, шантаж, компрометирование и т. п.[2], вектор действия которых направлен скорее на трудно уловимые и субъективно воспринимаемые элементы «военного искусства», чем на более объективные понятия «военной науки»[2].

Современная компьютеризация может затруднить использование методов рефлексивного управления, так как их применение легко выявляется путём математического моделирования[4]. Тем не менее, невозможно отвергать наличие широкого класса исключений, когда машинному интеллекту может не хватить интуитивного понимания реальной действительности[4].