Сегодняшняя распространенность ИИ, модного слова в ИТ, в нашей повседневной жизни неоспорима. ИИ, от беспилотных автомобилей до Софии, продолжает удивлять нас своими, казалось бы, бесконечными возможностями. Не забывайте об этой шумихе: профессионалы или соискатели, надеющиеся продвинуться по карьерной лестнице, могут извлечь выгоду из обучения искусственному интеллекту, чтобы вскочить на эту подножку прогресса. В настоящее время в области искусственного интеллекта (AI) больше всего волнуют вопросы, связанные с машинным обучением (ML). Чтобы быть конкретным, в технике, называемой глубоким обучением.

Машинное обучение позволяет алгоритмам изучать и решать проблемы, анализируя данные, чтобы делать прогнозы самостоятельно, без вмешательства человека. Сервисы, которые вы используете каждый день, такие как Facebook, Google, Amazon и Netflix, используют ИИ по-разному, например, для поддержки чат-ботов, системы рекомендаций и т.п. Несомненно, очень скоро все больше и больше приложений будут использовать эту мощную технологию.

Как улучшить вашу систему искусственного интеллекта

По моему мнению, ниже я упомянул несколько вещей, которые можно сделать для улучшения качества разработки ИИ. Вот мои предложения по созданию сегодня первоклассной системы искусственного интеллекта, которая может обеспечить эффективность и инновации:

Используйте и в значительной степени полагайтесь на рецензируемые инновации: большинство успешных организаций используют искусственный интеллект, который поддерживается интенсивными исследованиями, в идеале рецензируемыми учеными. Эта проверка не должна ограничиваться только алгоритмами; он также должен распространяться на данные. Если вы возьмете пример фирмы венчурного капитала, желающей инвестировать в стартап, которая обнаружила, что существует огромное несоответствие между данными, используемыми стартапом, и качеством алгоритмов, идеальный шаг - передать инвестиции. В основном потому, что это несоответствие вызывает тревогу.

Процесс структурирования и организации данных. Как вы знаете, предприятия генерируют огромный объем данных каждый день, каждую минуту. Что вы должны знать, так это то, что из этого остается лишь небольшая часть данных, полезных для конкретной организации. В качестве альтернативы, производственные данные отличаются от данных обучения, и эти данные необходимо стабилизировать, прежде чем переходить от обучающей среды к производственной. В этом случае использование целостной внутренней модели данных имеет решающее значение, особенно если ваш ИИ построен на архитектуре, управляемой данными, а не на системе управляемой моделями. Отсутствие целостной системы заклинаний может оказаться опасным. Как рассказал один друг, который является генеральным директором крупной компании, от одного года разработки пришлось отказаться, потому что их компания не сконфигурировала данные обучения должным образом. Таков риск.

Автоматизация производственной среды (во всех областях): вы могли подумать, что это очевидно. Я заявляю об этом прямо, потому что это очень важно для организации. По мере того, как организация переходит от исследовательской лаборатории к производственной среде, независимо от того, какую систему вы используете, ей потребуется полностью автоматизированная система. С развитием Интернета вещей и больших данных создание такой системы является относительно четким путем при разработке системы искусственного интеллекта. Однако без полной автоматизации такие факторы, как нагрузка на человеческие ресурсы, ошибки в производстве и обучение, усугубляют недостатки, что очень затрудняет их устранение.

Отдавайте предпочтение качеству, а не количеству. Как я упоминал ранее, ежедневно создаются огромные объемы данных. Неизменно значительная его часть некачественная. Давайте возьмем пример клинической генетики, где источники данных, которые используются для изучения вариации последовательностей данных, настолько несовместимы, что требуется база данных системы баз данных, чтобы разобраться в наборах данных. Если взять пример систем генетического анализа, то для этого тоже требуется около 200 отдельных баз данных. Банкам также необходимо извлекать данные как минимум из 15 внешних систем. Очевидно, что отсутствие системной основы для выбора и сбора данных приведет к тому, что любое изменение данных будет работать против эффективности системы ИИ.

Масштабируйте данные. Масштабирование управления данными имеет решающее значение и не так просто, как кажется. После того, как вы очистите предыдущие шаги, вы можете получить очень маленькие, но подходящие наборы образцов. Хотя небольшой набор данных может быть хорошим началом для некоторых приложений, он не имеет большого значения в системах искусственного интеллекта. Вы хотите выпустить автоматизированный автомобиль или какие-либо лекарства после обучения его на небольшой базе данных? Возможно нет!

В совокупности изложенные выше пункты в идеале должны стать вашей отправной точкой, чтобы гарантировать, что вы придерживаетесь тех же стандартов, что и ваш ИИ. Эти моменты также помогут избежать обычных проблем с мусором, которые типичны для сегодняшних систем искусственного интеллекта.

Что следует учитывать перед созданием систем искусственного интеллекта

Алгоритмы искусственного интеллекта (ИИ). TensorFlow и Theano - это библиотеки машинного обучения с открытым исходным кодом, которые упростили сложность разработки и проектирования приложений ИИ. Эти сборы бесплатны, поддерживаются сообществами и хорошо задокументированы. Таким образом, разработчики имеют легкий доступ к приложениям машинного обучения благодаря этим инструментам.

Вычислительная мощность: Это относится как к огромным решениям для хранения данных, так и к чистой мощности ЦП. Множество поставщиков облачных услуг, таких как Microsoft Azure, Amazon Web Services (AWS), Google Cloud и многие другие, значительно упрощают аренду серверов, виртуальных машин и инструментов для работы с большими данными.

Доступные данные: Последний фактор, который следует учитывать, - это данные. Прежде чем нанимать специалистов по данным, арендовать серверы или устанавливать библиотеки машинного обучения, необходимы данные. Он является неотъемлемой частью обеспечения глубины и качества данных, поскольку в конечном итоге определяет уровень приложения ИИ, которое может быть разработано.

Подготовьте свои данные для искусственного интеллекта

Независимо от того, настроена ли ваша организация на разработку приложений искусственного интеллекта или нет, крайне важно, чтобы вы начали готовиться к тому моменту, когда ваши данные будут использоваться для упрощения интеллектуальных решений. Следуя этой цели, начните рассматривать каждый проект или инициативу как способ создания основы для моделей данных будущего.

Чтобы подготовить и получить надежные и актуальные данные, начните со следующих вопросов:

Соблюдаете ли вы политику сбора согласованных данных?

Есть ли четкое указание на причину сбора данных при создании нового продукта или функции?

Какова цель сбора этих данных?

Вы собираете и храните свои данные в общем формате?

Сохраняете ли вы свои в процессе сбора данных в формате, который можно использовать во всех точках взаимодействия с вами?

Применяете ли вы единый уровень проверки и проверки ошибок для всех своих продуктов?

Храните ли вы свои данные в централизованном хранилище?

Вы должны убедиться, что данные передаются в хранилища данных и доступны в режиме реального времени для всех сфер деятельности. По мере того, как приложения искусственного интеллекта (ИИ) совершенствуются за счет повышения их способности сопоставлять различные источники информации, обнаружению выводов из данных организации препятствуют срезанные наборы данных, которые трудно получить.

В недалеком будущем ИИ станет нормой, а не чем-то выдающимся, как сегодня. Хотя у вас есть контроль над данными, как сейчас, убедитесь, что вы используете эту способность, чтобы подготовиться к будущему, в котором приложения AI смогут использовать ваши данные. И это начинается с качества и количества данных.

Алгоритм и данные в глубоком обучении: краткий обзор

Моя статья по большей части подтверждает важность данных для ИИ в целом. Теперь давайте быстро разберемся, являются ли алгоритмы или данные неотъемлемой частью ИИ.

Ответ на этот вопрос не так однозначен. Однако верно, что подходы к глубокому обучению требуют данных. У них есть параметры, требующие настройки, а это означает, что им нужен огромный объем данных для создания обобщаемой модели. Таким образом, в этом смысле наличие большого количества данных может помочь в разработке хороших обучающих наборов для этих подходов.

Есть люди, которые сопоставили появление крупных общедоступных наборов данных, таких как Imagenet, с достижениями последних исследований. Это актуально, поскольку подчеркивает, что в некоторых областях наличие общедоступных наборов данных превращает данные в меньшее конкурентное преимущество.

Вы должны знать, что наиболее интересным в некоторых из этих подходов и алгоритмов является то, что они могут быть предварительно обучены теми, кто владеет наборами данных, а затем пользователи могут их применять. В таких случаях данные обычно не нужны. Очевидно, что даже для этих требовательных к данным приложений ответ не очень ясен, что вам требуются большие объемы данных, чтобы использовать последние достижения. При этом, если вы пытаетесь разработать конкретные приложения, вам потребуются внутренние данные, которые вы можете использовать для обучения новому подходу к глубокому обучению.

Биография автора

Наташа - менеджер по контенту в SpringPeople. Она проработала в сфере образовательных технологий более 7 лет. Чтобы предоставить самую достоверную информацию о технологических тенденциях, она связана со SpringPeople. SpringPeople - это глобальный провайдер корпоративного обучения передовым и новейшим технологиям, методологиям и продуктам. SpringPeople в партнерстве с родительскими организациями, стоящими за этими технологиями, проводит аутентичное и наиболее полное обучение по смежным темам.

Twitter: https://twitter.com/Natasha_ThatsMe