В этой статье мы рассматриваем применение машинного обучения в узкоспециализированной области: дифракции обратного рассеяния электронов. Добавляет ли это ценности? Это шумиха? Какие вопросы мы можем лучше задать и ответить, используя современные методы? Здесь я не слишком углубляюсь в математику или физику и не слишком полагаюсь на концепции микроскопии — это означает точку зрения на применение машинного обучения в довольно зрелой области.
Мы, наверное, в пузыре. ИИ широко используется практически во всех областях науки. Отчасти это хайп. Некоторые из них являются новыми, подлинными знаниями, которые были бы невозможны без современных методов машинного обучения.
Я принадлежу к поколению инженеров и ученых, которые впервые окунулись в мир машинного обучения в качестве экспертов в предметной области, ищущих новый инструмент в наших аналитических арсеналах. Я пришел к выводу, что при правильной настройке это могут быть одни из самых мощных методов логического вывода. Но в полузрелых областях существует огромная опасность заново изобретать колесо и просто находить более сложные (и часто более затратные в вычислительном отношении) способы делать то, что мы уже можем делать, ради ажиотажа.
В этом посте я кратко рассмотрю конкретную область электронной микроскопии и то, как машинное обучение может найти действительно интересное и практическое применение (отказ от ответственности: я предвзят — я защитил докторскую диссертацию, чтобы показать, что это может быть полезно). полезный).
Существует МНОЖЕСТВО видов электронных микроскопов, и все они предназначены для создания контраста с высоким пространственным разрешением на основе интересных физических явлений. Мы рассмотрим простой металлический образец (обычно высокосимметричный кристалл) и метод, называемый дифракцией обратного рассеяния электронов (ДОЭ).
В EBSD падающий электронный луч отражается в виде «дифракционной картины» пересекающихся полос, которые отображаются на ПЗС-матрице. Это картина обратного рассеяния электронов (EBSP). С сотнями тысяч точек в типичном сканировании, собирая изображение, состоящее из (десятков) тысяч пикселей, мы получаем довольно огромные наборы данных. Общая схема схематически показана на Рис. 1.
EBSP (в частности, углы, ширина и количество полос) сильно зависят от ориентации и структуры сканируемого кристалла. Это часто не сильно меняется в интересующей области. Типичный экспериментальный EBSP представлен на рисунке 2.
Процесс определения ориентации и кристаллической структуры на основе измеренного EBSP известен как индексирование. Вкратце, современное состояние классической постобработки EBSD включает в себя сравнение (взаимную корреляцию) с шаблонами смоделированных шаблонов или использование преобразования Хафа для определения местоположения полос с последующим поиском межполосных углов известных структур. Я не буду вдаваться в подробности здесь, но достаточно сказать: подход Хафа быстр, но неточен; подход кросс-корреляции/сопоставления шаблонов может быть медленным, но очень точным.
Типичный пример результатов сканирования EBSD, известный как карта обратной полюсной фигуры, представлен на Рис. 3. Он описывает кристаллографическую ориентацию микроструктуры материала. Это имеет важное инженерное значение и представляет интерес!
Обычно мы используем ИИ в контексте либо контролируемого, либо неконтролируемого обучения.
В настройках контролируемого у нас есть алгоритм, обученныйна некоторых ранее размеченных данных для прогнозирования кристаллической структуры и/или ориентации (например, набора углов Эйлера) на основе измеренного EBSP. . Это может быть очень полезно, и работа Shen et al [1] демонстрирует мощь этого подхода. Сверточная нейронная сеть (CNN) обучается прогнозировать ориентацию с помощью переносного обучения для адаптации модели, обученной с помощью симуляции, к экспериментальным условиям. Хорошо обученная сеть привела к анализу EBSP и определению ориентации за ‹ 1 мс, что является существенным улучшением по сравнению с современными технологиями (обычно 5–15 мс для индексации Хафа).
Фоден и др.[2]используют несколько иной подход, сосредотачиваясь на классификации кристаллографической структуры. В некотором смысле это более сложная проблема, поскольку ответ на поставленный вопрос будет зависеть от комбинаций функций, присутствующих в EBSP. Путем адаптации классической CNN AlexNet, обученной на ImageNet [3], эта модель смогла определить интересующие особенности (пересекающиеся полосы), которые мог бы использовать человек, или классический подход преобразования Хафа. понять этот EBSP. Послойные активации опубликованы в их статье [2] (и магистерской диссертации Алессандро Превьеро) и с разрешения воспроизведены здесь на рис. 4.
Так что это может работать. Но в чем преимущество перед традиционными методами? В конечном счете, как уже говорилось, определение ориентации и структуры является решенной проблемой. Мы можем использовать быстрое, но неточное индексирование Хафа или медленное, но точное сопоставление с шаблоном. В контролируемой среде кажется, что причина для изучения методов, основанных на нейронных сетях, помимо ажиотажа, вспышек, того, чтобы быть частью духа времени и т. д., и т. д., – это стремление к скорости. решения, поэтому большие области интереса можно сканировать в разумные сроки. Это, конечно, замечательная цель, и вполне возможно, что хорошо оптимизированная нейронная сеть может обеспечить высокую точность с молниеносной скоростью. Однако мы должны признать, что движемся к созданию полностью непрозрачного черного ящика, который жертвуетстрогим физическим обоснованиемиобъяснимостью модели. дляумеренного увеличения скорости.
Недавняя работа Фодена et al[4]показала, что в подходе сопоставления шаблонов все еще есть много возможностей для ускорения вычислений и точности, которые, возможно, могут быть обусловлены эффективное преобразование Фурье и умножение матриц на графическом процессоре. Суть проблемы в том, нужно ли нам жертвовать объяснимостью? Это открытый исследовательский вопрос, и группы продолжают работать над всеми сторонами этой проблемы.
Простое предсказание структуры или ориентации на основе входного EBSP — не предел того, что ML может рассказать нам о нашем массивном наборе данных. Область обучения без учителя направлена на выявление скрытых функций в нашем наборе данных, корреляции между ними и направляет нас к вещам, которые мы считаем (по некоторым показателям) важными.
Возможно, эта проблема идеально подходит для такой техники, как EBSD. Мы можем рассматривать скрытые особенности как физически различные области кристалла в пределах нашего сканирования. Они имеют разную структуру, ориентацию и химический состав. В данном скане при определенном увеличении может быть всего 1 или 2 или целых 80–100 уникальных признаков. Неконтролируемое обучение по своей сути помогает нам уменьшитьнаш набор данных с десятков тысяч измеренных точек сканирования до этой горстки полезных функций.
Выявление этих функций может быть достигнуто с помощью таких методов, как анализ главных компонентов (PCA), как показано на рисунке 4, или кластеризация k-средних, как по сравнению с Wilkinson et al [5]. Многие ресурсы для понимания этих алгоритмов доступны в других источниках, поэтому я не буду здесь вдаваться в подробности. Они делают именно то, что было описано выше: можно определить значительно сокращенный набор данных, который максимально отражает дисперсию необработанных данных. Эта основа соответствует скрытым признакам, которые мы хотели выявить.
В моей докторской диссертации мы исследовали еще несколько подходов к обучению без учителя (неотрицательная матричная факторизация и нейронные сети с автоматическим кодировщиком) для особенно сложной задачи дифференциации EBSP, полученных из кристаллов с разными химическое упорядочивание (насколько хорошо ведут себя атомы при прилипании к назначенным узлам решетки). Эти EBSP выглядели очень, очень похожими, и человек, преобразование Хафа или взаимная корреляция шаблона не могли отличить их друг от друга. ML надежно мог, с разной степенью успеха. Документ доступен по адресу https://arxiv.org/abs/2005.10581.
Доступ к скрытому пространству признаков, идентифицированному неконтролируемым ML, позволяет очень быстро определять уникальные группы EBSP, присутствующие в наборе данных. Затем мы можем использовать хорошо информированные классические модели, чтобы понять их. Например, взаимная корреляция становится очень дешевой, и можно сопоставить гораздо больше структур, чем без ML [6].
Я, конечно, очень предвзят, так что отнеситесь к моему мнению с долей скептицизма. Использование машинного обучения для выявления скрытых функций способом, который невозможен с помощью классических подходов, возможно, является более ценным вложением, чем просто погоня за скоростью индексации. Затем их можно проанализировать с помощью физически обоснованных и объяснимых подходов.
Со временем алгоритмы контролируемых нейронных сетей становятся все больше и сложнее. Это может (и делает) повысить точность, но по своей сути увеличивает количество вычислительных операций, необходимых для анализа. Возможно, технология GPU сможет идти в ногу со временем, и этот подход остается жизнеспособным. С другой стороны, хорошо продуманные, физически значимые, объяснимые модели (например, сопоставление шаблонов) вряд ли станут намного более сложными в вычислительном отношении. Улучшения этих подходов, как правило, происходят за счет лучшего понимания проблемы, а не просто за счет добавления дополнительных параметров в модель. Улучшения в вычислительных возможностях, вероятно, принесут пользу этим подходам больше, чем когда-либо углубляющиеся нейронные сети.
Вопросы, обсуждаемые в этой статье, применимы не только к EBSD, и я столкнулся с аналогичными проблемами в других областях микроскопии, таких как томография с атомным зондом и спектроскопия потерь энергии электронов. Это также представляет интерес для совершенно других областей, таких как моделирование финансовых временных рядов, где авторегрессионные линейные модели, такие как ARIMA, вытесняются рекуррентными нейронными сетями, LSTM и т. д. и т. д.. Как практики, мы должны быть чрезвычайно осторожны, чтобы жертвы объяснимости, которые мы приносим (и степени абстрагирования от необработанных данных, которые мы готовы допустить), были хорошо оправданы. Будет очень интересно посмотреть, где приземлятся разные домены, и на какие жертвы они готовы пойти ради чистой производительности. Я подозреваю, что физические науки будут менее склонны полностью сдаться глубокому, темному, черному ящику.
Это всего лишь точка зрения скромного аспиранта, довольно близкого к своей жизни — не стесняйтесь связаться со мной в Твиттере @tmcaulf, я буду рад услышать ваше мнение.
Большое спасибо электронному шептуну @bmatb за проверку звука моих относительно необоснованных мнений (и за участие в моей докторской диссертации…).
[1] Ю. Ф. Шен, Р. Покхарел, Т. Дж. Низолек, А. Кумар и Т. Лукман, «Метод на основе сверточных нейронных сетей для индексации ориентации в реальном времени измеренных картин дифракции обратного рассеяния электронов», Acta Mater., т. 170, стр. 118–131, 2019.
[2] Фоден А., Превьеро А. и Бриттон Т. Б., «Достижения в области дифракции обратного рассеяния электронов», 40-й международный симпозиум Risoe: микроструктуры металлов в 2D, 3D и 4D, август 2019 г., том . 22, нет. 11, с. 1261.
[3] А. Крижевский, «Классификация ImageNet с глубокой сверточной нейронной сетью», Adv. Нейронная инф. Процесс. систем, 2012.
[4] А. Фоден, Д. М. Коллинз, А. Дж. Уилкинсон и Т. Б. Бриттон, «Индексирование картин дифракции обратного рассеяния электронов с помощью усовершенствованного подхода к сопоставлению шаблонов», Ultramicroscopy, vol. 207, с. 112845, декабрь 2019 г.
[5] А. Дж. Уилкинсон, Д. М. Коллинз, Ю. Заячук, Р. Корла и А. Вилалта-Клементе, «Применение многомерных статистических методов и библиотек моделирования к анализу наборов данных дифракции обратного рассеяния электронов и дифракции Кикучи на просвет», Ультрамикроскопия , том. 196, нет. Июнь 2018 г., стр. 88–98, 2018 г.
[6] МакОлифф Т.П., Фоден А., Билсланд К., Даскалаки-Мунтану Д., Дай Д. и Бриттон Т.Б., «Улучшение характеристики со статистикой коррелятивной электронной дифракции и рентгеновской спектроскопии в сканирующем электронном микроскопе». Ультрамикроскопия, №. в, с. 112944, январь 2020 г.
