TL;DR
Современные автомобили используют глубокое обучение, применяемое к визуальному вводу, чтобы «понимать» окружающий пейзаж. Это справедливо как для подключенных, так и для автономных транспортных средств — компьютерное зрение используется для распознавания дорожных знаков (TSR), определения полосы движения, автоматической парковки и многого другого.

Мы атаковали реальное транспортное средство, используя глубокое обучение, чтобы создать реальные противоборствующие дорожные знаки, эффективные для автомобилей разных производителей. Мы использовали только мощный графический процессор и коммерчески доступные сервисы печати.

Лучшая часть? Атака 100% черный ящик. Нет необходимости в коде поставщика или знании внутренних компонентов, таких как архитектура нейронной сети или вес автомобиля. По правде говоря, у нас есть все основания подозревать, что атака работает даже с традиционными системами компьютерного зрения.

Атака преднамеренно заставляет реальный автомобиль делать неправильные классификации. Мы доставили автомобиль в SMART range, экспериментальный полигон, ориентированный на автомобильную кибербезопасность, связанный с Harman (наша компания) и Университетом Бен-Гуриона, где мы протестировали атаки на открытом воздухе.

Ознакомьтесь с полной публикацией — Обмануть настоящую машину с помощью состязательных дорожных знаков и посмотрите видео (лучше смотреть на компьютере)

Видео лучше смотреть на десктопе, так как экран смартфона с низким разрешением значительно искажает изображение знака для человеческого глаза.

Когда мы думаем о кибербезопасности, мы думаем о взломе устройств, обратном проектировании кода, злоупотреблении паролями администратора, использовании уязвимостей программного обеспечения для удаленного выполнения кода (RCE), запуске произвольного кода и повышении привилегий. Требуемый набор навыков, требуемых от традиционного хакера, широк, включая обратный инжиниринг, сетевую безопасность, внутреннее устройство операционных систем, стеки встроенного ПО и многое другое. В этом посте речь пойдет о взломе системы распознавания дорожных знаков нетрадиционным способом.

Modern Vehicles — (уязвимая) серверная ферма на колесах

Транспортные средства становятся все более сложными, поскольку они становятся более прибыльными. Было заявлено, что среднее современное транспортное средство высокого класса имеет более 100 миллионов строк кода, больше, чем современная боевая система армии США или Большой адронный коллайдер, что чуть меньше общего количества пар оснований ДНК мыши. Это не ракетостроение — это еще сложнее.

Количество ECU (блок управления электроникой — по сути, автономный компьютер) варьируется от десяти до более сотни с подключенными функциями, такими как WiFi, Bluetooth и сотовая связь. Транспортные средства, по сути, превратились в серверные фермы с постоянным подключением к Интернету, большой вычислительной мощностью, включая процессоры и графические процессоры, и 70 000 000 из них производятся каждый год, из них 1 миллиард в настоящее время находится в пути.

Программное обеспечение 2.0

Андрей Карпати, один из ведущих мировых экспертов по глубокому обучению и в настоящее время старший директор по искусственному интеллекту в Tesla Motors, назвал глубокое обучение программным обеспечением 2.0. », новый способ программирования машин.

Программное обеспечение 2.0 уже используется в реальном мире в качестве программного обеспечения для компьютерного зрения в современных автомобилях. Они генерируют, как выразился Андрей Карпати, «однородную вычислительную», «легко переносимую» и «гибкую» функциональность в виде нейронных сетей, которые выполняют логику самостоятельного управления. Это, в свою очередь, открывает перед нами новый мир уязвимостей — общие алгоритмические уязвимости.

В своем блоге он указал на ограничения Software 2.0, среди которых:

Наконец, мы все еще открываем некоторые специфические свойства этого стека. Например, наличие состязательных примеров и атак подчеркивает неинтуитивный характер этого стека.

Мотивация хакера

Мотивация для атаки на транспортное средство обширна — его можно взломать, чтобы получить личную информацию (как ранее устройства IoT взламывали), слить контакты или использовать его подключение для DDoS-атак и аналогичных традиционных атак. Новые экзотические атаки могут быть таких как программы-вымогатели (и оплата за разблокировку), атака графического процессора для майнинга криптовалюты (и оплата за электроэнергию) или направление автономного грузовика, перевозящего товары в нужное место, совмещение поддельных дорожных знаков и глушения GPS (без разрыва ни одной линии). кода).

Программное обеспечение 2.0 для атак на автомобили не требует традиционных навыков взлома программного обеспечения и даже не требует специальных знаний автомобильных технологий. Из-за множества опубликованных исследовательских работ (хотя подавляющее большинство из них являются моделирующими), перечисленных на домашней странице Николаса Карлини (исследователя Google Brain, специализирующегося на состязательных сетях), каждый отдельный исследователь является опубликованным хакером нейронных сетей.

Однако не все согласны с тем, что атаки на основе состязательных изображений представляют собой реальную угрозу. Крис Валасек и Чарли Миллер, дуэт хакеров, взломавших Jeep Cherokee в 2015 году, написали в документе 2018 года, что автономные транспортные средства могут быть менее подвержены взлому, чем вы думаете. Они добавили: Однако на момент написания этой статьи эти атаки на основе датчиков кажутся сложными для выполнения вне контролируемой среды и не масштабируются.

Год спустя, благодаря быстрым улучшениям в исследованиях ИИ и нашим собственным результатам, мы теперь утверждаем, что не только автономные транспортные средства *Больше* поддаются взлому, чем вы думаете. Состязательные атаки легко и дешево генерировать, они работают вне контролируемой среды и, как правило, передаются между производителями. Даже нынешние современные автомобили на дорогах находятся в опасности.

Нападение на транспортное средство

Уязвимость

  1. Классификаторы на основе машинного обучения подвержены атакам со стороны противника
    Это означает, что классификаторы визуального машинного обучения, которые воспринимают определенный дорожный знак (например, 50 км/ч), не могут правильно обрабатывать все изображения, которые правильно интерпретируются человеком. существование. Можно намеренно создавать изображения дорожных знаков, которые будут по-разному восприниматься водителем и системой распознавания дорожных знаков. И и человек, и компьютер будут уверены в своей правоте.
  2. Атаки переносимы.
    В отличие от традиционных уязвимостей, где фрагментация рыночных устройств добавляет киберзащищенности (уязвимость, обнаруженная в стеке одного смартфона, скорее всего, не повлияет на стек чужого смартфона), эти атаки слабо зависят от архитектуры нейронной сети и точной реализации. . Переносимость означает, что атака на транспортное средство с большой долей вероятности будет эффективна на других транспортных средствах, даже если они произведены не тем же производителем.

Создание атаки: преимущества для хакера

Подмена нейросети автомобиля — это:

1. Можно сделать незаметным для человека.

2. Невозможно обнаружить классическими мерами кибербезопасности

3. Дешевый и простой в реализации.

4. Относится к устаревшим системам компьютерного зрения

5. Черный ящик. Не требует «исходного кода» (хотя было бы эффективнее, если бы он был)

Создание атаки: проблемы

Возмущение изображения должно быть:

  1. Достаточно сильный, чтобы выжить в реальном мире: условия, такие как разные углы обзора, расстояния, освещение, окклюзия и т. д.
  2. Незначительные и быстро отбрасываемые человеком как нечто естественное, такой износ, грязь или «невинный» вандализм.

Эти условия явно противоречивы, и это вызывает обоснованный скептицизм в отношении осуществимости.

Атака

Построение атаки было вдохновлено несколькими исследовательскими работами, среди которых DARTS (обман автономных автомобилей с токсичными знаками). Мы построили состязательную фабрику, которая позволяет воспроизводимо производить надежные состязательные знаки реального мира.

Наш конвейер состязательной фабрики состоит из трех этапов, а именно: файл-к-файлу, ТВ-в-петле и реальном мире. Конвейер включает в себя случайные преобразования реального мира, чтобы приспособиться к эффектам реального мира.

File-to-file
Атака на наш собственный самодельный классификатор с высокой вероятностью успеха атаки. На этом этапе алгоритм работает на уровне файлов, без участия реального мира.

Телевидение в цикле
Познакомьтесь с реальными вариантами, показав камере враждебные знаки на телевизоре, и атакуйте наш самодельный классификатор. Использование телевизора позволило нам ввести реальные преобразования, такие как наклон, блики и многое другое. Установка запускалась неоднократно с ручным изменением ориентации и освещения для оценки атак в контролируемой среде.

Физические преобразования определялись установкой относительных углов между камерой и телевизором и изменением условий освещения. Коэффициент успеха со стороны злоумышленников измерялся как процент углов обзора, при которых состязательный знак мог обмануть классификатор черного ящика. Этот метод позволил масштабировать процесс создания враждебных дорожных знаков, оценивая тысячи конфигураций, как среду симулятора реального мира.

Наиболее эффективные противодействующие дорожные знаки смогли обмануть классификатор более чем на 90% углов обзора и условий освещения.

Реальный мир, реальная машина, настоящий классификатор
На заключительном этапе мы распечатали наиболее удачные знаки в реальном размере на материале из настоящего дорожного знака. На данный момент, поскольку это атака черного ящика, мы можем только оценить, насколько эффективны распечатки. Играя роль атакующего, мы имеем право выбирать, с каким знаком атаковать. Конечно, мы выбрали те, которые показали лучшие результаты в экспериментах с TV-in-the-loop.

Со всем этим мы отправились в местную прокатную компанию и арендовали автомобиль, оборудованный системой распознавания дорожных знаков с помощью камеры. В этом автомобиле не было ничего особенного — это был обычный седан компакт-класса. За исключением того факта, что это должен был быть первый автомобиль, когда-либо атакованный дорожными знаками противника.

Последовательность эксперимента

  • 14 Атака на поддельные дорожные знаки
  • 14 обычных дорожных знаков
  • Повторите прогон с обычными и состязательными знаками.
  • Повторяю — утром, днем ​​и вечером.

Результаты

  • Шесть знаков успешно подделывали систему TSR автомобиля в течение дня утром, днем ​​и вечером.
  • Четыре вызвали DoS (отказ в обслуживании), в результате чего TSR несколько раз полностью остановился примерно на минуту. Этот неожиданный результат был неожиданным, но тем не менее мы считаем его успешной атакой.

Повторение распечатанных враждебных знаков Установка в SMART Range, Сде Тейман, Беэр-Шева, Израиль

Резюме

  • Атаки дешевы и просты в изготовлении
  • Автономные автомобили легче взломать, чем вы думали
  • Эксперименты с реальным автомобилем подтверждают уязвимость TSR
  • Требуемый набор хакерских навыков — специалист по данным, оснащенный графическим процессором, опытом обучения данным и нейронным сетям.

Бумага

Полная версия публикации доступна на странице Обмануть настоящую машину с помощью враждебных дорожных знаков в рамках исследования, проведенного подразделением кибербезопасности Harman.

Эту работу возглавил Dr. Александр Крейнес, Нир Моргулис и я, Шахар Менделовиц в рамках исследовательского проекта автомобильной кибербезопасности в BU Automotive Cybersecurity, Harman International

  • По вопросам СМИ обращайтесь в Двир Резник
  • Для обсуждения технических вопросов обращайтесь к нам по адресу Alex, Nir или ко мне — Shachar