В последние годы мы перестали рассматривать дроны как простое средство передвижения. высокотехнологичная игрушка для записи видео сделать их ключевым инструментом в сфере безопасности, наблюдения и даже вооруженных конфликтов. И, как это часто бывает с любой технологией, которая так быстро развивается, аспекты безопасности и защиты не всегда развиваются с той же скоростью.
В этом контексте группа исследователей из Калифорнийского университета в Ирвайне продемонстрировала нечто, что звучит как шутка, но на самом деле таковой не является: Привлечь и нейтрализовать некоторые автономные дроны можно, используя лишь зонт с определённой цветовой схемой.Никаких радиоглушителей, никакого удалённого взлома, никакого сложного оружия. Просто "странный" зонт и немного обратного проектирования того, как эти устройства воспринимают мир.
Почему автономные дроны вызывают все большее беспокойство
Распространение дронов отнюдь не ограничивается сферой развлечений. Китай, Россия, Соединенные Штаты и другие страны Они активно продвигают разработку беспилотных летательных аппаратов, оснащенных системами искусственного интеллекта, способными принимать решения самостоятельно. Речь идет уже не просто о летающих камерах для блогеров, а об автономных платформах с тактическими и разведывательными возможностями.
Очень наглядный пример можно найти в войне Россия и Украинагде были развернуты всевозможные дроны: устройства-камикадзе, системы слежения, системы, подключенные к оптоволоконным кабелям для улучшения передачи данных и т. д. К этому добавляются разработки, граничащие с научной фантастикой, такие как российские эксперименты с предполагаемыми голубей превратили в биодроныЭто иллюстрирует, насколько некоторые участники конфликта готовы исследовать любые технологические пути для получения преимуществ на поле боя.
Проблема в том, что эта же технология, будучи внедренной в гражданский сектор, открывает двери для гораздо более неприятных сценариев: постоянное наблюдение за людьминесанкционированное автоматическое отслеживание, сбор данных в местах с повышенной чувствительностью или просто вторжение в повседневную частную жизнь любого, кто случайно столкнется с одним из этих устройств в неподходящий момент.
Широкое внедрение дронов с функциями автономного слежения в таких задачах, как частная охрана, пограничный контрольКонтроль за толпой или патрулирование критически важной инфраструктуры расширяют их оперативные возможности… но в то же время многократно увеличивают векторы риска. Не только потому, что дроны могут выйти из строя, но и потому, что ими можно манипулировать, обманывать или использовать против тех, кто ими управляет.
В сложившейся ситуации становится ясно, что недостаточно просто шифровать сообщения или защищать радиодиапазоны. Настоящая битва ведется и на физическом поле.в том, как алгоритмы машинного зрения и искусственного интеллекта интерпретируют то, что видят через камеру дрона, и как они реагируют на визуальные образы, призванные их запутать.
Исследование Калифорнийского университета в Ирвайне: защита от искусственного интеллекта.
Вместо разработки нового наступательного беспилотника, команда Калифорнийский университет в Ирвайне (UC Irvine) Он решил подойти к проблеме с другой стороны: как физически защитить себя от автономных систем слежения на основе искусственного интеллекта. Его цель была ясна: улучшить так называемую «физическую кибербезопасность» с помощью повседневные и недорогие предметы, не прибегая к специализированному оборудованию или углубленным знаниям в области хакинга.
В ходе своего расследования эксперты тщательно проанализировали работу алгоритмов слежения, встроенных во многие коммерческие дроны. В частности, они сосредоточились на функциях, известных в коммерческой сфере как Системы Active Track, Dynamic Track или другие аналогичные системы.которые позволяют дрону автоматически следовать за человеком или объектом, используя компьютерное зрение, без необходимости постоянно вручную корректировать траекторию пилотом.
После многочисленных экспериментов они обнаружили удивительно простую слабость: определенные модели дронов, которые демонстрируют... Отслеживание целей с использованием нейронных сетей и анализа движения изображений. Их можно сбить с толку, если им показать очень специфический визуальный образ. Этот метод получил название... Мухоловка«Мухобойка» — так называется способ, которым она заманивает дрон в такое место, где его можно захватить или сбить.
Самое поразительное в этом случае то, что практическая реализация FlyTrap была осуществлена с использованием такого обычного предмета, как зонт. Путем нанесения соответствующего визуального рисунка на поверхность зонта. А когда вы открываете его перед дроном, система слежения на основе искусственного интеллекта интерпретирует ряд изменений на изображении, заставляя ее думать, что цель удаляется, даже если человек, держащий его, остается неподвижным.
Результаты были представлены на международной конференции, посвященной компьютерной безопасности (NDSS), где было подробно рассказано о том, что этот подход не является просто лабораторной диковинкой. Тесты показали, что физическая атака эффективна в различных условиях.Изменения освещения и погоды опасно приближают его к реальному сценарию использования за пределами контролируемой среды.
Как работает атака FlyTrap шаг за шагом (на концептуальном уровне)
Чтобы понять, почему зонт может поставить автономный дрон в затруднительное положение, нам необходимо рассмотреть, как работают системы слежения за целями, основанные на искусственное зрениеПо сути, дрон непрерывно снимает изображения окружающей среды и, используя нейронные сети и алгоритмы анализа движения, пытается определить местоположение объекта, за которым он должен следовать, в каждом кадре.
Эти алгоритмы ориентированы на узоры формы, цвета, контраста и движения Они определяют местоположение объекта на текущем изображении относительно предыдущего. На основе этой информации рассчитывается, приближается ли объект, удаляется ли он, смещается ли в сторону, скрывается ли за препятствием и т. д. Затем дрон корректирует свою скорость и траекторию, чтобы удерживать объект в кадре на расстоянии, считающемся «оптимальным».
Атака FlyTrap использует именно эту логику. Графический узор, разработанный для зонта, заставляет его создавать узоры при малейшем движении дрона или изменении угла обзора. заметные изменения масштаба и положения цели что алгоритм интерпретирует как непрерывное движение назад. Искусственный интеллект считает, что объект движется назад, хотя на самом деле он стоит неподвижно.
Так что же делает дрон? Чтобы компенсировать это предполагаемое расстояние, постепенно сокращайте расстояниеПопытка "приблизиться" к объекту, чтобы сохранить кадрирование в соответствии с внутренними правилами системы слежения. В результате самолет входит во все более агрессивную спираль захода на посадку… пока не оказывается опасно близко к зонту и человеку, несущему его.
Когда дрон находится очень близко, у оператора атаки появляется очень выгодное преимущество: он может поймать его сетью, ударить по нему, дестабилизировать его или заставить его столкнуться. против близлежащей поверхности. В отличие от других методов защиты, которые направлены лишь на то, чтобы заставить дрон потерять цель или перестать отслеживать ее, FlyTrap позволяет переместить его в идеальное положение для физической нейтрализации.
Затронутые модели дронов и фактический масштаб проблемы.
Исследователи из Калифорнийского университета в Ирвайне не ограничились моделированием; они проверили свою методику с помощью... настоящие коммерческие дроныК числу успешно прошедших оценку моделей относятся:
- DJI Мини 4 Про
- DJI Нео
- Ховер Эйр X1
Все эти устройства оснащены функциями автоматического слежения на основе компьютерного зрения, которые, теоретически, предназначены для обеспечения динамичной съемки без необходимости беспокоиться о камере со стороны пилота. Именно эта способность автономно следовать за пользователем. Именно эта система обернется против него, когда в дело вступит такая схема, как FlyTrap.
В ходе испытаний дроны проявили достаточную активность, чтобы сделать их эксплуатацию целесообразной. захват сетевыми устройствами или его контролируемое воздействиеИными словами, дело было не просто в том, чтобы на мгновение запутать алгоритм, а в том, чтобы заставить злоумышленника применить устойчивый физический подход, который оставил устройство на милость противника.
Исследователи, проводившие это исследование, действовали в соответствии с передовыми методами работы сообщества специалистов по кибербезопасности. Они ответственно донесли информацию об уязвимости. Перед тем как обнародовать все подробности, необходимо сообщить об этом соответствующим производителям. Это позволит таким компаниям, как DJI и другим пострадавшим фирмам, пересмотреть свои алгоритмы отслеживания и внедрить контрмеры в будущих обновлениях прошивки или поколениях оборудования.
Однако, помимо этих конкретных моделей, открытие имело и другие последствия. гораздо более широкие последствияЛюбой беспилотный летательный аппарат (БПЛА), использующий нейронные сети для отслеживания целей с помощью компьютерного зрения, может быть уязвим для различных вариантов того же подхода, если он не был специально обучен противостоять подобным враждебным моделям поведения.
Физическая атака, не требующая радиосвязи, взлома или помех.
Одна из ключевых особенностей FlyTrap заключается в том, что она работает исключительно в физическая областьДля этого не требуется вмешиваться в связь дрона, получать доступ к его каналу передачи данных или использовать традиционные уязвимости программного обеспечения. Атака работает, потому что она манипулирует тем, что видит камера дрона, и, следовательно, тем, во что верят его алгоритмы искусственного интеллекта.
На практике это означает, что злоумышленнику не нужно ничего выдавать. радиосигналы, Wi-Fi, GPS или аналогичныеКроме того, для этого не требуется никакого подключения к дрону, прав доступа или учетных данных. Все сводится к тому, чтобы показать дрону физический объект, предназначенный для использования его когнитивных «слепых зон», что гораздо сложнее отследить и заблокировать с помощью стандартных средств защиты.
Этот подход соответствует тому, что известно как враждебные атаки в физическом миреЭто все более актуальное направление исследований. Подобно тому, как были созданы очки, футболки или наклейки, способные обмануть системы распознавания лиц или беспилотные автомобили, здесь зонт используется для того, чтобы сбить с толку алгоритмы отслеживания дрона.
Кроме того, затраты смехотворно низки по сравнению с ресурсами, обычно затрачиваемыми на ведение радиоэлектронной борьбы или сбитие беспилотных летательных аппаратов. Не требуется дорогостоящее оборудование, специальные антенны или специальные знания в области радиочастот.Всё, что вам нужно, это зонт подходящей конструкции и немного сноровки, чтобы занять нужное место, когда дрон находится в режиме слежения.
Эта асимметрия между ценой современного дрона и стоимостью его нейтрализации с помощью такого обычного объекта напрямую влияет на то, как нам следует подходить к этому вопросу. безопасность критической инфраструктуры, развертывание полиции или границыТеоретически злоумышленник мог бы приблизить беспилотники наблюдения к запрещенным зонам, используя именно такие методы, а затем вывести их из строя или заставить упасть в нужном месте.
Последствия для безопасности, конфиденциальности и массового использования дронов.
Распространение беспилотных летательных аппаратов, работающих на энергии... искусственный интеллект Это представляет собой огромную проблему для общественной безопасности. Мы видим все больше проектов, предлагающих использовать рои дронов для патрулирования городов, мониторинга границ или наблюдения за крупными мероприятиями. Но исследование Калифорнийского университета в Ирвайне показывает, что без усиления алгоритмов распознавания вся эта система зиждется на довольно хрупком фундаменте.
На оперативном уровне атака с использованием мухоловок может применяться как в наступательных, так и в оборонительных целях. С одной стороны, кто-то может нейтрализовать беспилотники полиции или пограничного наблюденияЭто снижает возможности реагирования сил безопасности в конкретном районе. С другой стороны, человек, подвергающийся преследованию с помощью дрона, или жертва шпионажа с использованием коммерческого устройства, может использовать тот же механизм для самозащиты, используя простой модифицированный зонт.
Существует также аспект защита стратегической инфраструктуры (электростанции, транспортные объекты, центры обработки данных и т. д.). Если в этих местах для дополнения систем наблюдения используются автономные дроны, уязвимость, подобная FlyTrap, создает риск того, что злоумышленник сможет обойти часть системы обнаружения, используя только физический объект без какого-либо электронного взаимодействия.
Таким образом, исследование посылает четкий сигнал: Безопасность беспилотников не может ограничиваться электронным или сетевым уровнем.Обеспечение безопасности каналов передачи данных, шифрование коммуникаций и защита программного обеспечения необходимы, но недостаточны, если алгоритмы обработки изображений затем обманываются цветными узорами, напечатанными на зонте. Устойчивость должна распространяться и на то, как ИИ интерпретирует физическую среду, а также на его устойчивость к преднамеренным манипуляциям.
По мере того как использование автономных дронов становится все более распространенным в городская среда и операции, требующие особого вниманияПодобные атаки перестанут быть просто академическим курьезом и станут фактором, который производители, регулирующие органы и операторы должны будут учитывать еще на этапе проектирования. Игнорирование этих уязвимостей может дорого обойтись после масштабного развертывания.
Ограничения атаки и возможные линии обороны
Хотя идея «сбить дрон зонтом» очень привлекательна, не стоит думать, что подойдет любой разноцветный зонт. Рисунок мухоловки FlyTrap тщательно разработан. использовать конкретные уязвимости в протестированных алгоритмах. Это не универсальный трюк, который автоматически сработает со всеми дронами или в любых обстоятельствах.
Кроме того, для атаки требуется, чтобы дрон использовал функции автономное отслеживание на основе зренияЕсли оператор управляет им полностью вручную или если управление летательным аппаратом осуществляется с помощью других датчиков (таких как LIDAR, радар или передовые системы объединения данных с датчиков), то возможности обмана ИИ с помощью только визуального образа могут уменьшиться или даже исчезнуть.
Еще одним практическим ограничением является необходимость физически приблизить зонт к полю зрения дрона.В ситуациях, когда устройство летит на большой высоте или поддерживает расстояние в несколько километров от цели, достижение такой близости может быть нереалистичным. FlyTrap особенно опасен в условиях низких полетов, при отслеживании людей на близком расстоянии или в городских условиях с узкими проходами.
С точки зрения обороны, существует несколько возможных вариантов действий. Один из них — переобучение моделей зрения Использование примеров враждебных моделей поведения, таких как FlyTrap, позволяет научить их распознавать аномалии и избегать попадания в ловушку неконтролируемого приближения. Другой вариант — сочетание визуальной информации с другими источниками (глубина, инерциальные датчики, 3D-карты), чтобы не полагаться исключительно на то, что видит камера.
Также целесообразно внедрить это в прошивку. Ограничения по расстоянию и дополнительные правила безопасностиЭти меры предотвращают приближение дрона к цели на расстояние меньше определенного, если он обнаруживает необычные или непоследовательные визуальные изменения. Это может не полностью исключить обман, но снизит вероятность того, что дрон достигнет позиции, где его можно будет легко захватить вручную или с помощью сети.
Наконец, на регулирующем уровне находятся органы, ответственные за сертификацию дронов для различных целей. безопасность, полиция или наблюдение за инфраструктурой В свои оценки им придется включить испытания на устойчивость к такому типу физического воздействия. Использование дрона для съемки горного пейзажа — это не то же самое, что его использование для патрулирования границы: требуемый уровень прочности должен быть совершенно разным.
Всё это приводит к любопытной ситуации: чем «умнее» мы делаем дроны с помощью ИИ, тем... Важнее будет мыслить как креативный атакующий игрок. кто пытается найти обходные пути в реальном мире, чтобы обмануть их. И именно здесь такой, казалось бы, безобидный предмет, как разноцветный зонтик, может оказаться главным героем.
Короче говоря, эти исследования показывают, что Безопасность автономных систем — это не просто вопрос межсетевых экранов и шифрования.а также понять, как они воспринимают окружающую среду, какие упрощения используют их алгоритмы и как простой графический узор может превратить продвинутый беспилотный летательный аппарат в нечто столь же уязвимое, как муха, привлеченная хорошо продуманной ловушкой.