Компании, от гигантов рынка, таких как Amazon и Netflix, до небольшого розничного магазина где-то в центре Огайо, стремятся расти и повышать свою эффективность. Одним из способов достижения этого является включение ИИ и машинного обучения в операционную деятельность. Но из-за разнообразия ML сложно выбрать правильный метод и четко понимать, какую пользу он может принести. Итак, в этой статье мы рассмотрим основные алгоритмы машинного обучения, объясним их бизнес-применение и выделим пошаговое руководство по выбору подходящего алгоритма, который будет соответствовать потребностям вашего бизнеса.

1. Регрессия

Регрессия — это рудиментарный алгоритм машинного обучения для нахождения взаимосвязи как минимум между двумя переменными. Эти переменные могут быть зависимыми (целевыми) и независимыми (предикторными). Понимание того, как переменные влияют друг на друга, позволяет строить прогнозы, а также определять временные ряды, причинно-следственные связи и служить предиктором силы.

Цель методов регрессии обычно состоит в том, чтобы объяснить или предсказать конкретное числовое значение при использовании исторических данных. А разнообразие регрессионной модели зависит от типа и количества входных данных (переменных). Всего таких моделей более 10. Наиболее популярными из них являются простая линейная и множественная линейная регрессия.

Простая линейная регрессия состоит только из одной независимой и одной зависимой переменной. Множественная линейная регрессия гораздо более распространена на практике. Он предусматривает множество объясняющих (независимых) переменных, которые влияют на одну зависимую переменную. Здесь конкретный пример может лучше проиллюстрировать различия между простой и множественной линейной регрессией.

Предположим, что мы имеем дело с бизнесом по производству мороженого. С помощью простой линейной регрессии мы можем найти зависимость между количеством продаж (зависимая переменная) и температурой хранения мороженого (независимая переменная). Множественная линейная регрессия охватывает выявление более глубоких закономерностей. Например, мы можем проверить, как независимые переменные — температура хранения, цена, количество вкусов и персонал — влияют на продажи (зависимая переменная).

Линейную регрессию легко понять, но она редко используется на практике, потому что не все признаки (переменные) в мире идеально обобщаются линейным трендом. Обычно нелинейные взаимосвязи встречаются чаще, поскольку они отображают извилистую тенденцию изменения данных, происходящую в реальных проектах.

Информация о временных рядах в таких проектах позволяет нам работать с задачами регрессии, не только находя ключевые факторы, влияющие на целевую переменную, но и прогнозируя будущие значения на основе собранных в прошлом данных, включая временные метки. Это одна из причин, по которой регрессия нашла широкое применение в таких областях, как розничная торговля, оптимизация бизнес-процессов, рекомендательные системы и т.д.

БИЗНЕС-ПРИМЕНЕНИЕ АЛГОРИТМА РЕГРЕССИИ

Давайте рассмотрим пример применения регрессионной модели в ресторанном бизнесе. Если бы вы были ресторатором, вы бы наверняка задумались об оптимизации затрат. Вы можете удовлетворить эту потребность, сводя к минимуму количество испорченных продуктов и используя точное планирование закупок товаров. Мы можем разработать регрессионную модель, которая сможет предсказать, когда и сколько продуктов покупать, учитывая срок годности различных продуктов. Чтобы создать работоспособную модель, нам нужно будет ввести в нее следующие исторические данные:

  • Количество блюд ресторана, которые были проданы за прошлые периоды (сгруппированные по дням, неделям и т.д.)
  • Информация о праздниках (эти дни имеют другую специфику)
  • Информация о маркетинговой кампании

Преимущества достигаются за счет принятия регрессионной модели, которая объясняет или прогнозирует числовое значение при использовании исторических данных из предыдущего набора данных. После того, как вы внедрите описанное решение, вы сможете более точно планировать покупки.

2. Классификация

Классификация — это алгоритм машинного обучения для категоризации неструктурированных или структурированных данных. Его применение остается эффективным в таких областях, как фильтрация спама, классификация документов, автоматическая пометка и обнаружение дефектов. Классы здесь могут восприниматься как ярлыки или цели. Анализируя входные данные, модель учится классифицировать новую информацию, сопоставляя метки или цели с данными. При этом основными типами алгоритмов классификации являются бинарные, мультиклассовые и мультиметочные.

Двоичная классификация

Мы обучаем модель классифицировать новые данные по 2 категориям (спамовые или не спамовые электронные письма, наличие или отсутствие заболевания легких, покупка или не покупка продукта, изображение альпаки или ламы, которое изображает немного более сложный случай). классификации обучения за несколько выстрелов).

Для обучения бинарной модели требуется набор данных, который помечен 0 и 1. После того, как модель проанализирует отсортированный набор данных, она способна прогнозировать метки для новых данных. В основе обучения лежит способность распознавать закономерности.

Многоклассовая классификация

Мы обучаем модель классифицировать более чем по двум категориям. Например, классификатор может научиться идентифицировать кошек, собак, ящериц и других животных. Для достижения надежной точности распознавания модель должна определять и улавливать признаки, позволяющие классифицировать по категориям. Однако как в мультиклассовой, так и в бинарной классификации выборке данных может быть присвоена только одна категория.

Многокомпонентная классификация

В классификации с несколькими метками разным объектам может быть назначено ноль или более меток. Классификатор здесь может распознавать кошек, собак и других животных, изображенных на одной картинке. Ярким примером классификации с несколькими метками является автоматическая пометка: статьи в блогах могут быть помечены соответствующими тегами, такими как «ИИ», «методы машинного обучения», «Здравоохранение» и т. д.

При выполнении задач классификации модель делает прогноз с вероятностью от 0 до 1, описывая уверенность, с которой она вынесла тот или иной вердикт относительно категории. Число 0 означает полную неопределенность, а 1 представляет 100% уверенность в выполненной классификации. Поэтому, в зависимости от специфики бизнеса и задач клиента, этот порог можно настроить (не обязательно больше 0,5 — значит «да», меньше 0,5 — значит «нет», вы можете настроить эти цифры под нужды бизнеса) .

БИЗНЕС-ПРИМЕНЕНИЕ КЛАССИФИКАЦИИ

Служба поддержки присваивает теги каждому разговору с клиентом. Это сделано для быстрой и удобной навигации между предыдущими запросами клиентов и для группировки разговоров по темам. Этот процесс должен быть автоматизирован, чтобы уменьшить ручную работу.

Бизнес-решение в этом случае основано на ранее размеченных данных клиента. Мы можем разработать модель классификации с несколькими метками, которая сможет автоматизировать процесс присвоения нескольких тегов новым разговорам с клиентами. Так что специалисты колл-центра не будут тратить время на эту деятельность, вместо этого сосредоточившись на других приоритетных задачах.

3. Кластеризация

Кластеризация — это метод машинного обучения, который позволяет нам идентифицировать и группировать точки данных в организованных структурах. Эти структуры представляют собой большие наборы данных, которые можно легко понять и манипулировать ими, а новые идеи могут быть получены из сгруппированных данных после кластерного моделирования. В отличие от классификации, кластеризация не требует размеченных данных. Ведь он пытается найти шаблоны, определяя общие или похожие свойства, а затем применяет эти шаблоны для создания отдельных групп (кластеров).

Методы группировки или кластеризации особенно полезны в бизнес-приложениях, где необходимо сегментировать или классифицировать большие объемы данных. Типичные случаи включают сегментирование клиентов по различным характеристикам для более точного таргетинга маркетинговых кампаний и рекомендации новостных статей, которые понравятся определенным читателям. Кластеризация также эффективна при обнаружении закономерностей в сложных наборах данных, которые могут быть неочевидны для человеческого глаза, что делает ее одной из наиболее часто используемых методов искусственного интеллекта в маркетинге.

Модели кластеризации машинного обучения различаются в зависимости от подхода. Иногда мы начинаем со случайно инициализированных центральных точек, как в K-средних и других алгоритмах на основе центроидов, в других случаях мы применяем иерархические методы, методы плотности или распределения. Все эти алгоритмы открывают возможности для использования в бизнесе при обнаружении аномалий, сегментации изображений, анализе социальных сетей, улучшении маркетинговых кампаний и обнаружении мошенничества.

БИЗНЕС-ПРИМЕНЕНИЕ КЛАСТЕРИЗАЦИИ

Примером здесь может служить розничный бизнес. Представьте, что владелец бизнеса намерен проанализировать работу сотрудников и определить, кто работает не очень усердно. Ежедневно большое количество сотрудников работает в разных сетях супермаркетов с деньгами, поэтому владелец хочет получить полную картину работы сотрудников, имея возможность оценить эффективность операционных затрат.

Чтобы помочь с решением, мы можем разработать модель кластеризации для обнаружения аномалий. В нашем случае аномальная активность фиксируется, если поведение сотрудников необычно (отличается от всех остальных). Применяя алгоритм кластеризации, мы выделяем группы сотрудников, поведение которых существенно отличается от поведения большинства персонала. Кластеризация — это первый шаг к решению проблем с производительностью и оптимизации производительности, хотя у бизнеса есть достаточно возможностей для внедрения других алгоритмов машинного обучения.

4. Глубокое обучение

Глубокое обучение (ГО) — это область ИИ, которая частично имитирует подходы, применяемые людьми во время обучения. Алгоритмы глубокого обучения заменяют нейронную сеть как минимум тремя слоями, которая разбивает проблемы на уровни данных, а затем решает их. Эти алгоритмы напоминают работу нашего мозга, когда мы начинаем постигать мир, учить слова и узнавать новые объекты.

Таким образом, являясь ответвлением ML, глубокое обучение заменяет алгоритмы, лежащие в основе многослойных нейронных сетей, но отличающиеся от традиционных методов AI/ML (см. рисунок ниже). Ключевое отличие заключается в том, что для моделей глубокого обучения не требуются данные с набором соответствующих признаков — достаточно просто предоставить им необработанные данные, давая алгоритму возможность самостоятельно определить соответствующие признаки. Модели глубокого обучения расширяются вместе с увеличением объема данных, применяемых для обучения. Итак, развитие глубокого обучения выглядит следующим образом: слои нейронной сети состоят из нейронов, которые передают информацию нейронам последующего слоя, и модель приходит к решению, когда данные попадают на выходной слой.

Модели глубокого обучения используются для самых разных бизнес-приложений. В здравоохранении они помогают анализировать медицинские изображения, ускорять диагностические процедуры и искать лекарства. В телекоммуникационной и медиаиндустрии нейронные сети могут использоваться для машинного перевода, обнаружения мошенничества и услуг виртуальных помощников. Финансовая индустрия использует их для обнаружения аномального мошенничества, управления портфелем и анализа рисков.

Подводя итог, можно констатировать, что DL способен к суммированию текста, генерации новых изображений, преобразованию речи в текст, обнаружению эмоций, распознаванию движений.

БИЗНЕС-ПРИМЕР ДЛЯ ГЛУБОКОГО ОБУЧЕНИЯ

Представьте себе обувной бизнес с командой, предоставляющей услуги поддержки клиентов через чаты и по телефону. Владелец бизнеса хочет иметь возможность кратко проанализировать качество услуг, предоставляемых сотрудниками, и проверить уровень удовлетворенности клиентов.

Бизнес-решение может быть построено на основе обобщения текста, что позволяет нам извлекать наиболее важную информацию из текста поддержки чата. Чтобы также иметь возможность обрабатывать аудиоразговоры, мы можем применить модели преобразования речи в текст для извлечения текстовой информации из аудио. Также, стремясь в целом проанализировать уровень удовлетворенности клиентов, мы можем работать над моделями анализа настроений, которые определяют тон разговоров (положительные или отрицательные диалоги).

5. Уменьшение размерности

Методы уменьшения размерности включают уменьшение количества входных признаков, переменных или атрибутов при сохранении как можно более информативного набора данных. Зачем нам это нужно, если обычно мы стремимся иметь максимальное количество данных для обучения идеальной модели?

Довольно часто случается, что производительность алгоритмов машинного обучения может снижаться при слишком большом количестве входных переменных. Большее количество признаков увеличивает шанс переобучения модели, что чревато некачественным результатом.

Благодаря уменьшению размерности мы можем сократить продолжительность обучения, избежать переобучения и применить алгоритм подготовки данных, выполненный до моделирования.

Использование уменьшения размерности в бизнесе не ограничивается подготовкой данных перед моделированием и включает следующие области: визуализация многомерных данных, сжатие изображений, оптимизация времени выполнения моделей и снижение сложности моделей.

БИЗНЕС-ПРИМЕР СНИЖЕНИЯ РАЗМЕРНОСТИ

Чтобы лучше понять этот алгоритм, мы рассмотрим пример. Компания производит и контролирует множество различных датчиков и имеет множество данных, которые необходимо проанализировать. Модель предсказания, основанная на существующих данных, может им хорошо пригодиться. Он должен анализировать исторические данные с кучи датчиков и прогнозировать некоторую информацию с учетом исходных данных.

Данные датчиков разрежены, поэтому применение обычных алгоритмов машинного обучения без этапов предварительной обработки приведет к низкому качеству работы модели. Итак, один из лучших вариантов — использовать методы уменьшения размерности перед моделированием, таким образом имея возможность уменьшить количество признаков и оставить только наиболее релевантные для получения надежного качества модели. Затем, после извлечения важных данных, мы можем применить модели регрессии или классификации для выполнения прогнозного моделирования на основе целевой функции, которую нам нужно предсказать.

От уменьшения размерности до регрессии выбор между методами машинного обучения может быть сложным. Ознакомьтесь с нашими рекомендациями по решению этого вопроса.

Как выбрать алгоритм машинного обучения для вашего бизнес-приложения

Согласно классификации машинного обучения, существуют варианты обучения с учителем, без учителя и с подкреплением, которые можно использовать для этой потребности бизнеса. В контролируемом обучении мы сталкиваемся с идеей обучения на основе размеченных входных и выходных данных. (Регрессия и классификация являются алгоритмами этой группы.) Что касается моделей обучения без учителя, то они требуют данных с входными характеристиками, но без помеченных выходных данных и способны находить структуры в заданных данных. (К этой категории относятся сегментация и кластеризация.) В случае обучения с подкреплением модели машинного обучения решают задачу путем импровизации и дальнейшего анализа отзывов о предпринятых действиях и решениях.

После того, как вы узнали о типах алгоритмов машинного обучения, вы можете ознакомиться с пошаговым руководством по выбору подходящего алгоритма для бизнес-приложений:

  1. Определить бизнес-задачу и алгоритмы, наиболее подходящие для ее решения
  2. Проверьте доступные данные (количество, характеристики, тип и поведение)
  3. Подумайте об оптимальной метрике оценки и скорости
  4. Определите подходящее количество функций и параметров
  5. Придерживайтесь базовой модели или более сложного решения (если простые линейные алгоритмы работают хорошо, нет необходимости усложнять работу)

При всем разнообразии лучших алгоритмов машинного обучения вы можете запутаться, какой метод выбрать. Старайтесь придерживаться подхода, связанного с данными или проблемами. Помните, что более качественные данные имеют большее значение, чем алгоритм, который можно легко улучшить, увеличив время обучения.

Написано Анастасией Молодорией, руководителем группы AI/ML в MobiDev.

Статья полностью опубликована на https://mobidev.biz и основана на исследованиях технологии MobiDev.