- Использование CycleGAN для создания реалистичных изображений STEM для машинного обучения (arXiv)
Автор: Абид Хан, Чиа-Хао Ли, Пиншан Ю. Хуан, Брайан К. Кларк.
Аннотация: Рост автоматизации и машинного обучения (МО) в электронной микроскопии может произвести революцию в исследованиях материалов, позволяя осуществлять автономный сбор и обработку огромных объемов данных с атомарным разрешением. Однако серьезной проблемой является разработка моделей машинного обучения, которые могут надежно и быстро обобщаться на большие наборы данных с различными экспериментальными условиями. Чтобы преодолеть эту проблему, мы разрабатываем состязательную сеть, генерирующую циклы (CycleGAN), которая вводит новый дискриминатор обратного пространства для дополнения смоделированных данных реалистичной сложной информацией о пространственной частоте, полученной из экспериментальных данных. Это позволяет CycleGAN генерировать изображения, почти неотличимые от реальных экспериментальных данных, а также предоставлять метки для дальнейших приложений машинного обучения. Мы демонстрируем эффективность этого подхода путем обучения полностью сверточной сети (FCN) для выявления дефектов отдельных атомов в большом наборе данных из 4,5 миллионов атомов, которые мы собрали с помощью автоматизированного сбора данных в сканирующем просвечивающем электронном микроскопе (STEM) с коррекцией аберраций. Наш подход дает легко адаптируемые FCN, которые могут приспосабливаться к динамически изменяющимся экспериментальным переменным, таким как аберрации объектива, шум и локальное загрязнение, с минимальным ручным вмешательством. Это представляет собой важный шаг к созданию полностью автономных подходов к использованию больших данных микроскопии.
2. Устранение запотевания непарного изображения над водой с использованием цикла GAN, управляемого предыдущей картой (arXiv)
Автор: Яозун Мо, Чаофэн Ли, Вэньци Жэнь, Шаопэн Шан, Вэньу Ван, Сяо-цзюнь Ву.
Аннотация: методы, основанные на глубоком обучении, достигли значительных результатов в борьбе с запотеванием изображений. Однако существующие методы в основном разработаны для наземных сцен и плохо работают при работе с туманными изображениями над водой, поскольку сцены над водой обычно содержат большие пространства неба и воды. В этой работе мы предлагаем априорную карту Guided CycleGAN (PG-CycleGAN) для устранения запотевания изображений со сценами над водой. Чтобы способствовать восстановлению объектов на воде на изображении, в сети используются две функции потерь, где предыдущая карта предназначена для инвертирования темного канала, а нормализация минимум-максимум используется для подавления неба и выделения объектов. Однако из-за непарного обучающего набора сеть может изучить отображение домена с недостаточными ограничениями из туманного изображения в изображение без тумана, что приведет к артефактам и потере деталей. Таким образом, мы предлагаем интуитивно понятный начальный модуль масштабирования (UIM) и инфраструктуру дальнего остаточного масштабирования от грубого до тонкого (LRC), чтобы смягчить эту проблему. Обширные эксперименты по качественному и количественному сравнению показывают, что предлагаемый метод превосходит современные подходы к удалению запотевания с учителем, полуконтролируемым и неконтролируемым.
