Пример успеха диагностики COVID-19 на основе ИИ

Недавно федеративное обучение использовалось для массовой оптимизации модели машинного обучения для диагностики COVID-19. В декабре 2021 года в рецензируемом журнале Nature Machine Intelligence была опубликована статья под названием Улучшение диагностики COVID-19 с помощью сотрудничества в области искусственного интеллекта с сохранением конфиденциальности. В этой статье представлено значительное улучшение классификации пациентов как положительных или нет пациентов с Covid путем объединения данных из нескольких географических мест по всему миру для диагностики COVID-19.

Основные результаты показали, как федеративное обучение значительно улучшило значения чувствительности, специфичности и площади под кривой (AUC) для диагностики COVID-19. В основном одним из лучших достижений этой публикации является то, как федеративное обучение позволило учреждениям из Китая и Соединенного Королевства (Великобритании) сотрудничать вместе, сохраняя конфиденциальность и защиту своих данных.

Использование теста ПЦР в качестве базового уровня

Одним из наиболее распространенных и надежных тестов для диагностики COVID-19 является полимеразная цепная реакция с обратной транскрипцией (ОТ-ПЦР), чаще всего называемая ПЦР-тестом. Несмотря на интенсивное использование, чувствительность обнаружения варьируется от 0,60 до 0,71 (60–71%). Это приводит к большому количеству ложноотрицательных результатов, что побуждает исследователей по всему миру искать более точные альтернативы.

Чувствительность и специфичность являются важными значениями, которые следует учитывать при сравнении ПЦР-тестов с различными моделями и подходами машинного обучения (см. журнальную статью для более подробного объяснения чувствительности, специфичности и точности). чувствительность определяется по следующей формуле:

Где,

TP = истинно положительный

FN = ложноотрицательный результат

Тогда специфичность получается по следующей формуле:

Другими словами, чем выше значение чувствительности, тем вероятнее, что модель будет предсказывать истинно положительные значения. и чем выше специфичность, тем вероятнее, что модель предскажет истинно отрицательные значения.

Если модель имеет высокую точность, но достигается либо с низкой специфичностью, либо с низкой чувствительностью, то модель будет давать нежелательные ложноотрицательные или ложноположительные результаты.

Зачем было необходимо федеративное обучение

Помимо ПЦР-тестов, для выявления заболеваний легких используется компьютерная томография (КТ). Сообщалось, что пациенты с коронавирусом демонстрируют рентгенологические особенности на компьютерных томограммах, которые позволяют моделям машинного обучения обучаться классификации пациентов с положительным результатом на COVID-19.

Однако набор данных, который включает в себя целый набор КТ из разных мест, представляется необходимым для достижения более высокой точности моделей классификации COVID-19. Первое решение, которое приходит на ум, — это совместное использование всех данных и обучение отдельной модели классификации COVID-19 из набора данных CT (что в идеальном мире могло бы сработать).

Однако соображения конфиденциальности являются одним из основных барьеров, препятствующих этому. Совместная инициатива между 18 партнерскими больницами в Соединенном Королевстве и 5 больницами в Китае согласилась обучать свои модели на местном уровне и разделила вес модели в общей федеративной модели.

Результаты подхода федеративного обучения

Несколько наборов данных были собраны в четырех разных местах и ​​использованы для создания четырех моделей, используемых для обучения и последующего сравнения с подходом федеративного обучения. Существующие модели смогли достичь высоких значений чувствительности или специфичности, но не того и другого вместе. Это означает, что некоторые модели были хорошими и давали хорошие положительные результаты, но многие отрицательные тесты на COVID также обозначались как положительные. В то время как другие модели хорошо находили отрицательные результаты, но многие положительные тесты также обозначались как отрицательные (ложноотрицательные). Эти четыре модели были обучены на наборах данных из Китая и Великобритании.

Федеративная модель достигла специфичности, чувствительности и AUC 95%, 97% и 98% соответственно для набора данных Китая. Что превосходит индивидуальные результаты всех четырех отдельных моделей. Кроме того, объединенная модель превзошла все модели, обученные на местном уровне, для набора данных Великобритании со специфичностью, чувствительностью и AUC 73%, 94% и 89%.

На следующих рисунках показано сравнение между каждой из независимых моделей и объединенной моделью. Как можно видеть. Только модель 4 соответствует федеративной модели для набора данных Великобритании. Для других моделей мы никогда не получим одновременно и чувствительность, и специфичность, конкурирующие с федеративной моделью.

Выводы

Федеративное обучение показало улучшения по сравнению с изолированными моделями машинного обучения. Кроме того, мы наблюдаем более высокую чувствительность, чем у теста ПЦР. 0,97 и 0,73 для наборов данных Китая и Великобритании по сравнению с диапазоном между 0,61 и 0,71 для тестов ПЦР.

Несмотря на эффективность федеративного обучения, мы должны помнить, когда необходимо использовать этот подход. Когда отдельные поставщики данных должны придерживаться строгих политик конфиденциальности, федеративное обучение может позволить большой команде совместно работать с данными своей модели. Нам также необходимо подумать, действительно ли наборы данных в разных местах обеспечат дополнительную надежность федеративной модели. Проще говоря, мы не будем улучшать наши модели, если набор обучающих данных слишком похож.

Наконец, я хотел бы оставить ссылку на документ под названием На пути к федеративному обучению в масштабе: проектирование системы, который служит прекрасным введением в федеративное обучение.

Спасибо за чтение, я ценю любые отзывы, которые вы можете оставить для этой статьи. Вы можете увидеть мои общедоступные работы по машинному обучению на моей Странице GitHub и не стесняйтесь подписываться на меня или связываться со мной через LinkedIn.

Подпишитесь на мою страницу в LinkedIn: AI Makers