Глубокое обучение и почвоведение - Часть 2

Цифровое картирование почв с использованием контекстной пространственной информации

Это вторая статья из серии, которую я посвящаю использованию глубокого обучения в почвоведении. Это продолжающаяся серия, и на данный момент она также включает:

Другие статьи, связанные с науками о Земле:

В первой части этой серии я рассказал о том, как почвоведы собирают информацию, что обычно включает полевые работы и лабораторный анализ. Это дорогостоящий и трудоемкий процесс, и это одна из причин, по которой мы пытаемся создавать модели для прогнозирования свойств почвы.

В этой статье я сосредоточусь на пространственных моделях для создания карт. Сначала я привожу некоторый контекст о традиционных способах создания почвенных карт и способах «машинного обучения». Затем я погружаюсь в то, почему важна контекстная информация и как мы можем использовать сверточные нейронные сети (CNN), чтобы использовать эту информацию.

Контекст

История теории почвы

В конце 1800-х годов геолог и географ В.В. Докучаев, отвечавший за составление карт почв Российской империи, разработал идею о том, что почвообразование (и, следовательно, вариативность) зависит от множества факторов, включая исходный материал, климат, топографию, растительность и т. Д. и время. Это общее понятие составляет основу современного почвоведения (изучения почв).

Традиционное картографирование почвы

Люди наносили на карту почвы в течение долгого времени. Чтобы решить, что и где выращивать, для целей налогообложения и т. Д. Чтобы понять почву и природу в целом, наблюдение является ключевой частью процесса. В поле, после рытья ямы, мы описываем профиль почвы и ее слои, чтобы попытаться понять ее историю. Но это только одна часть истории. Поскольку эта яма находится в окружении ландшафта, почвовед осматривает окрестности, прежде чем делать какие-либо выводы (или карту).

После описания и наблюдения пора нарисовать карту! Вы размещаете все точки (ямы) на чистом листе бумаги и рисуете вокруг них многоугольники на основе: 1) их (несходства) и 2) информации о факторах формирования. Через некоторое время (вероятно, через много лет в этом примере) вы получите что-то вроде этого:

Цифровое картирование почвы

После работы Докучаева все изменилось. Не много в теории, а в том, как мы наблюдаем природу и как обрабатываем данные. Теперь технологии присутствуют в большинстве процессов, от GPS для определения точного местоположения карьера до спутниковых снимков, которые описывают факторы почвообразования.

При традиционном картировании почв выводы, сделанные на основе наблюдений за взаимодействием между формирующими факторами, делаются в голове ученого-почвоведа. В цифровом картографировании почвы (DSM) всему процессу теперь помогает моделирование и машинное обучение. Почвовед может узнать, что почвы в долине отличаются от почв на склоне холма. И конечно, мы можем научить модель делать то же самое, не так ли?

DSM - это динамическое подразделение наук о почве, поэтому сложно резюмировать все, что делает сообщество. Мы используем модели от линейной регрессии до случайных лесов. У нас есть много источников для получения предикторов (формирующих факторов), включая спутниковые изображения и производные продукты. Чтобы получить дополнительную информацию о DSM, я отсылаю вас к McBratney et al. (2003).

Сверточные нейронные сети и DSM

Как я упоминал в предыдущем разделе, теоретические основы DSM основаны на взаимосвязи между атрибутом почвы и факторами почвообразования. На практике одно наблюдение за грунтом обычно описывается как точка p с координатами (x,y), а соответствующие факторы почвообразования представлены вектором значений пикселей нескольких ковариатных растров (a1,a2,…,an) в одном и том же месте, где n - общее количество ковариатных растров. .

Это точечное представление определенно полезно, но оно равнозначно тому, что ученый-почвовед просто смотрит на профиль почвы без учета окружающего ландшафта. Чтобы завершить картину, мы можем представить модель в пространственном контексте каждого наблюдения… что эквивалентно выходу из ямы с грунтом и осмотру.

С помощью CNN мы можем расширить классический подход DSM, включив информацию о близости (x,y) и полностью использовать пространственный контекст наблюдения за почвой. Мы можем заменить вектор ковариат трехмерным массивом с формой (w,h,n), где w и h - ширина и высота в пикселях окна с центром в точке p.

Поскольку я фанат многозадачного обучения, мы использовали CNN с трехмерным массивом в качестве входных данных и сгенерировали прогнозы для свойства почвы (органический углерод почвы) в 5 диапазонах глубин на основе цифровой модели рельефа, уклона, топографической влажности. индекс, долгосрочную среднегодовую температуру и общее годовое количество осадков. Сеть выглядит примерно так:

Голова сети («Общие слои») извлекает общее представление данных, которое затем направляется в 5 различных ветвей, по одной для каждой целевой глубины. Ветви должны уметь распознавать сигналы, специфичные для каждой глубины.

Полученные результаты

Увеличение данных

Увеличение данных - это обычная предварительная обработка в машинном обучении. Когда мы говорим о картах, у нас обычно есть вид сверху на интересующую точку, поэтому самый простой способ пополнить данные - вращение. Здесь мы повернули изображения на 90, 180 и 270º. Это дает два преимущества:

• Самым очевидным преимуществом является то, что мы увеличили количество наблюдений в четыре раза.
• Второе преимущество состоит в том, что мы помогаем модели делать более надежные обобщения, вызывая инвариантность вращения.

Как и ожидалось, увеличение данных было эффективным для уменьшения ошибок и изменчивости модели (рис. 4). Мы наблюдали уменьшение средней ошибки на 10,56, 10,56, 11,25, 14,51 и 24,77% для диапазонов глубин 0–5, 5–15, 15–30, 30–60 и 60–100 см соответственно.

Размер окрестности

Размер окна окрестности (окрестности) существенно повлиял на ошибку прогноза (рис. 5). Размеры выше 9 пикселей показали увеличение ошибки. В этом примере для картирования SOC в масштабе страны с размером сетки 100 м полезна информация от 150 до 450 м радиуса. Этот диапазон аналогичен диапазону пространственной корреляции, описанному для пахотных земель в обзоре Патерсона и др.. (2018), где на основе 41 вариограммы авторы оценили средний пространственный диапазон корреляции около 400 м. Поскольку мы использовали относительно грубое разрешение пикселей (100 м), трудно сказать, какой минимальный объем контекста необходим для улучшения прогнозов SOC. Мы считаем, что использование более высоких разрешений (

Сравнивая результаты CNN с более традиционным подходом (Cubist), CNN значительно уменьшил ошибку на 23,0, 23,8, 26,9, 35,8, 39,8% для 0–5, 5–15, 15–30, 30–60 и 60– Диапазон глубины 100 см соответственно.

Прогнозирование нескольких слоев почвы

В DSM есть два основных подхода к решению вертикальных колебаний свойств почвы. Вы можете сделать предсказание послойно (глубина неявно) или включить глубину в свою модель (глубина указана явно). Оба подхода показывают уменьшение дисперсии, объясняемой моделью, по мере увеличения глубины прогноза. Это ожидаемо, поскольку информация, используемая в качестве ковариат, обычно представляет состояние поверхности.

В этом исследовании мы снова можем увидеть синергетический эффект использования многозадачной CNN (я говорил об этом в первом посте). Как показано на рисунке ниже, в этом случае дисперсия, объясняемая моделью, фактически увеличивается с глубиной. Абсолютные значения R² не следует сравнивать между моделями и наборами данных, но абсолютно возможно сравнить тенденции.

Думаю, это основная причина, по которой мне нравятся многозадачные CNN. Но имейте в виду, что это не всегда работает… В одном из следующих постов я покажу вам несколько примеров.

А что с картами?

Если вы достигли этой точки, вы определенно заслуживаете карту! В конце концов, это было то, о чем было введение, верно? Это исследование проводилось с использованием информации о почве из Чили. На рисунке ниже вы можете увидеть пример прогнозов в небольшой тестовой области (в конце концов я поделюсь ссылкой на полную карту).

Визуально карты, созданные с помощью CNN, показали некоторые отличия по сравнению с традиционной моделью (кубизмом). Карта, созданная с помощью кубистической модели, показывает больше деталей, связанных с топографией, но также представляет некоторые артефакты из-за резких ограничений, создаваемых правилами дерева, и, возможно, некоторые артефакты ковариатных растров. С другой стороны, карта, созданная с помощью CNN, показывает эффект сглаживания, ожидаемое следствие поведения при использовании соседних пикселей.

Визуально оценить карту сложно, потому что мы неизбежно судим о ней по эстетике. Насколько реальна гладкая или резкая? Это постоянное обсуждение в моей области. Традиционный многоугольник почвы - не лучший способ описания почвы, поскольку почва представляет собой сплошную среду, но нетрудно найти случаи, когда мы видим резкие изменения между двумя почвами, поэтому очень гладкий растр может быть неправильным ... Скорее всего, решение в где то посередине.

(Edit) Интерпретация модели

После тестирования этого подхода в различных сценариях стало очевидно, что нам нужен способ интерпретации моделей CNN, чтобы, по крайней мере, подтвердить, что они фиксируют разумные отношения между SOC и предикторами. В приведенной ниже статье вы можете прочитать, как я использовал для этого значения SHAP.

Заключительные слова

Цифровое картографирование почв - очень интересная и динамичная дисциплина, и приятно видеть, что здесь применимы такие методы, как сверточные нейронные сети. Интуитивно метод, способный использовать контекстную пространственную информацию, идеально вписывается в теоретические рамки почвоведения.

Кроме того, мы снова увидели синергетический эффект многозадачной сети за счет регуляризации прогнозов на более глубоких уровнях. Если модель уже пыталась спрогнозировать верхний слой, она определенно должна использовать это для прогнозирования более глубоких слоев! Именно так поступает почвовед при описании профиля!

Я обещал написать сообщение о трансферном обучении и надеюсь, что это будет следующий пост. У меня есть наполовину готовый черновик, но моя кандидатская диссертация заставляет меня работать… так что проявите терпение, пожалуйста!

Цитата

Подробнее об этой работе можно прочитать в соответствующей статье.

Padarian, J., Minasny, B., and McBratney, AB, 2019. Использование глубокого обучения для цифрового картирования почвы, SOIL, 5, 79–89, https://doi.org/10.5194/soil-5-79- 2019 .

Примечание 04.09.2018: статья еще не принята и находится на публичном рассмотрении и обсуждении до 15.10.2018. Приглашаем вас принять участие в этом процессе.

Примечание 27.02.2019: статья принята и опубликована.

использованная литература

Докучаев В.В., 1883. Карта-схема содержания гумуса в верхнем горизонте почв Черноземной зоны: Приложение к книге «Русский Чернозем».

Макбрэтни, А.Б., Сантос, М. и Минасный Б., 2003. О цифровом картографировании почв. Геодерма, 117 (1–2), с. 3–52.

Падариан Дж., Минасни Б. и Макбратни А .: Чили и чилийская почвенная сетка: вклад в GlobalSoilMap, Geoderma Regional, 9, 17–28, 2017.

Патерсон, С., Макбратни, А. Б., Минасни, Б., и Прингл, М. Дж .: Вариограммы свойств почвы для сельскохозяйственных и экологических применений, В: Педометрика, стр. 623–667, Springer, 2018.

Благодарности

Я хотел бы поблагодарить моего редактора Клару да Коста-Рейдел за ее исправления. Приятно иметь кого-нибудь с научным образованием для корректуры вашей работы!