4 лучших алгоритма глубокого обучения для разработки игр с примерами использования

Как создавать невиданные ранее реалистичные игры, используя эти 4 метода глубокого обучения, один из которых является обязательным для изучения

Я предсказываю сильное влияние больших языковых моделей (LLM) на будущее игр, моделей, разработанных для того, чтобы понимать вас и сопереживать вам, а также пытаться влиять на вас, используя атрибуты эмоционального интеллекта.

Эмоциональный интеллект приходит в игры благодаря достижениям в LLM.

Методы глубокого обучения и LLM зависят от различий в конкретных приложениях алгоритмической оптимизации.

Я утверждаю, что игры станут тестовой экосистемой для изучения опыта виртуальной и дополненной реальности между пользователем и игровым ландшафтом для разработки и развертывания реальных виртуальных + дополненных реальностей.

Искусственный интеллект (ИИ) был неотъемлемой частью игр с момента их создания, но в последние годы он стал еще более влиятельным, поскольку игры стали более сложными.

Рассмотрим реализацию NPC (неигровых персонажей) [1] в играх. NPC — это персонажи, которыми управляет компьютер, а не игрок.

Они могут быть кем угодно, от простых владельцев магазинов, которые предоставляют информацию или продают предметы, элементы, необходимые для сюжетной линии любой игры. Например, чтобы NPC выглядел более реалистично, можно использовать ИИ, чтобы влиять на реакции NPC, чтобы добиться большего реализма в том, как они вписываются в то, что происходит вокруг них (вместо того, чтобы просто ждать определенных сигналов от персонажа игрока).

Некоторые примеры того, как ИИ может быть активирован для NPC, включают следующее: (1) поиск пути (т. е. поиск кратчайшего или наиболее привлекательного маршрута между двумя точками), (2) деревья поведения (логические блок-схемы, подробно описывающие, как NPC должен реагировать в различных обстоятельствах). ), (3) принятие решений на основе анализа диалогов и (4) незаписанные разговоры с другими NPC с использованием алгоритмов обработки естественного языка.

Вот четыре возможности глубокого обучения.

Сверточные нейронные сети (CNN)

Одним из основных преимуществ использования CNN является управление большими объемами данных [2]. Это связано с тем, что CNN можно обучать на значительно больших наборах данных и при этом достигать желаемого уровня точности. Поскольку CNN имеет тенденцию хорошо обобщать новые данные [6], с их помощью можно разработать игру, которая сможет адаптироваться и работать хорошо, даже если есть небольшие изменения во входных данных (например, разные условия освещения или углы обзора).

CNN может изучать сложные закономерности в изображениях и видео [3]. В качестве иллюстрации можно применить CNN для разработки игры, позволяющей распознавать человеческие лица или объекты в видеоматериалах, близких к реальному времени.

CNN также эффективны [4], когда речь идет об обработке изображений и видео. Это связано с тем, что их можно распараллелить на графических процессорах [5], что может привести к более быстрому обучению.

CNN с алгоритмами обучения с подкреплением (те, кто взламывает код, как сделать это сквозным с эмпирически воспроизводимым способом) будут первопроходцами в области предоставления исключительных инноваций. Кроме того, эта комбинация может привести к играм, которые будут намного более реалистичными и сложными для пользователя, поскольку ИИ может научиться учиться на своих ошибках и со временем становиться лучше.

Возможности внедрения CNN

— Обнаружение и распознавание объектов: CNN могут обнаруживать и распознавать объекты в игровой среде, обеспечивая более реалистичный и интерактивный игровой процесс. Например, популярная мобильная игра Pokémon GO может использовать CNN для идентификации покестопов и персонажей покемонов на изображениях реального мира, снятых во время действий игрока: CNN можно применять для потенциального прогнозирования событий в игре на основе описательных (исторических) данных. Например, этот подход можно использовать для создания реалистичного поведения NPC или прогнозирования действий пользователя для соответствующей предварительной загрузки ресурсов.

— Поиск пути. Понимая структуру 3D-окружения с помощью извилин, NPC потенциально могут более реалистично ориентироваться в пространстве, не застревая и не прибегая к нереалистичным обходным путям.

— Управление движением: плавное движение [7] необходимо для полного погружения. Используя методы оптического потока [8], можно оценить, как объект перемещается от одного кадра видеоматериала к другому.

Рекуррентные нейронные сети (RNN)

Именно здесь резина встречается с потенциалом для создания более реалистичных и правдоподобных персонажей, улучшенной игровой механики и повышенного погружения.

— Реалистичность персонажей: RNN можно применять для обучения и имитации человеческого поведения, эмоций и выражений. В результате разработчики игр могут создавать более правдоподобных и реалистичных цифровых персонажей.

— Улучшенная игровая механика: RNN может научиться оптимизировать игровой процесс, понимая поведение и предпочтения игроков. Таким образом, разработчики потенциально могут использовать эти соответствующие данные для улучшения игрового опыта, такого как дизайн уровней или модели искусственного интеллекта противника.

— Погружение, усиление: эта сетевая архитектура может позволить играм динамически реагировать на действия игрока, делая игровой процесс более естественным и плавным. Кроме того, придавая NPC реалистичное поведение и реакцию, игроки могут быть более мотивированы оставаться и продолжать работать в игровой экосистеме.

Реализации в RNN

— Предсказать следующий ход в шахматной партии.

— Разработать алгоритмы компьютерного зрения, способные идентифицировать объекты на сцене и отслеживать их движение. Этот подход можно использовать для обнаружения объектов почти в реальном времени в видеоиграх или приложениях дополненной реальности.

— Задачи обработки естественного языка, такие как машинный перевод или разработка чат-ботов, создают более реалистичные разговоры персонажей или автоматически переводят игровые диалоги на несколько языков.

— Предиктивное моделирование поведения игроков. Это может позволить разработчикам создавать более умных NPC, которые реалистично реагируют на действия игрока, или рекомендовать продукты и линии квестов, настроенные для каждого отдельного игрока.

Другие примеры, связанные с RNN:

— FIFA: улучшить анимацию и движения игроков.

— PUBG: Предскажите, куда игроки пойдут дальше

— Elder Scrolls Online: создавайте реалистичные разговоры с неигровыми персонажами.

— Fortnite: Рекомендовать товары для покупки в магазине предметов

— Hearthstone: разрабатывайте новые карты и механики

Сети с долговременной кратковременной памятью (LSTM)

Сеть LSTM — это тип нейронной сети, которая может учиться на данных последовательности [9]. Это делает их идеальными для задач распознавания рукописного ввода и машинного перевода, когда ввод представляет собой серию действий во времени.

Также было обнаружено, что LSTM эффективны при моделировании текстовых данных [10], что делает их ценными для таких задач, как понимание и генерация естественного языка. Кроме того, поскольку они могут сохранять информацию в течение длительных периодов времени [11], LSTM могут быть потенциально хорошими кандидатами для реализации в играх на основе памяти.

Возможности

— Повышенная точность: по сравнению с традиционными искусственными нейронными сетями, сети LSTM могут лучше запоминать предыдущие входные данные [11], потенциально давая более точные прогнозы. Приложение может включать в себя игры, в которых необходимо прогнозировать сложные закономерности, такие как движение противника в стратегической игре в реальном времени или сбор ресурсов в игре-песочнице с открытым миром.

— Улучшенная интерпретируемость: поскольку LSTM могут запоминать предыдущие входные данные (специфические для хранения информации на основе времени в течение определенного промежутка времени [11]), они потенциально могут дать представление о том, почему сеть приняла определенные решения. Эта улучшенная интерпретируемость может быть информативной на этапах отладки и тестирования разработки игры при попытке отследить ошибки или определить потенциальные области для улучшения.

- Более быстрое время разработки: LSTM потенциально могут ускорить общее время разработки за счет сокращения количества проб и ошибок, необходимых для правильной работы [12]. В некоторых случаях можно даже автоматизировать части процесса проектирования с помощью инструментов, использующих методы машинного обучения, такие как обучение с подкреплением поверх LSTM.

Активные развертывания

— Создавайте NPC, которые демонстрируют реалистичное поведение. Например, NPC может помнить введенное игроком видение игрока (когда это применяется помимо простого сохранения информации для последующего прямого вывода этого простого понимания) и применять это знание в будущих взаимодействиях. Этот подход может использовать NPC, чтобы иметь сеть долговременной кратковременной памяти для хранения информации об игроке для будущего вызова.

— Дизайн искусственного интеллекта противника. Заставляя противников вспоминать предыдущие действия игроков, они могут лучше предвидеть их движения и создавать уникальные проблемы, которые игроки должны преодолевать. Например, если враг помнит, что игрок любит уклоняться влево при атаке, он может начать позиционировать себя ближе к правой стороне, чтобы в следующий раз застать его врасплох.

— Для создания правдоподобных, реалистичных или аутентичных диалогов персонажей в играх. Если персонажи могут отслеживать то, что было сказано ранее во время разговоров, эти идеи могут помочь в создании оригинальных (экспромтов, незаписанных) ответов на основе контекста.

Глубокие Q-сети

Это необходимо изучить, так как я считаю, что у него есть самые многообещающие возможности для продвижения.

Возможность здесь заключается в чрезвычайном масштабировании автономной игры (например, автономное принятие решений под руководством NPC). Одним из вариантов использования является разработка политик управления [13] для агентов в игре. Например, предположим, что игрок управляет персонажем, которому нужно преодолевать препятствия. В этом случае глубокая Q-сеть может быть обучена действиям, которые потенциально максимизируют вознаграждение игрока (то есть увеличение его счета). Другие варианты использования включают использование глубоких Q-сетей для создания реалистичного поведения NPC или алгоритмов поиска путей. Также:

— Разработка политик управления: как упоминалось выше, одним из подходов к интеграции Deep Q-Networks в разработку видеоигр является разработка политик управления для персонажей, контролируемых либо NPC, либо самим игроком. Это может включать сквозное обучение агента DQN, чтобы он получал необработанные пиксельные входные данные [14] и сопоставлял их непосредственно с вероятностями вывода действий. Этот последний метод позволит аппроксимировать нелинейную функцию [15][16], что может привести к успешному обобщению во многих других средах.

— Генерация разумного и реалистичного поведения NPC: сгенерируйте поведение противника или NPC. А именно, обучайте DQN на наборе входных данных, которые описывают состояние игры и действия, доступные для NPC, а также выходные вероятности для каждого действия. DQN потенциально может выбрать действие для NPC на каждом временном шаге. Применяя этот подход, NPC могут демонстрировать потенциально более реалистичное поведение, поскольку при принятии решений может учитываться больше различных элементов их окружения (вместо того, чтобы следовать заранее определенному пути или сценарию).

— Алгоритмы поиска пути [17]: один из способов найти кратчайший путь между двумя узлами — использовать алгоритм Джикстры alDjikstra’s8]; однако этот подход не всегда может найти оптимальные пути (например, влияние фиксированных точек [19] на путешествие в целом). DQN можно использовать для поиска лучших путей, вводя текущее состояние игры и доступные действия и, возможно, показывая результаты (вероятности) для каждого действия. Тогда путь с наибольшей вероятностью может быть выбран в качестве оптимального пути. Используя DQN таким образом, при поиске пути можно учитывать различные факторы окружающей среды (например, взаимодействие игрока с его игровой экосистемой), что может привести к более эффективным или реалистичным результатам.

Прощальные мысли

В дополнение к созданию правдоподобных NPC у программистов есть возможность использовать методы глубокого обучения, чтобы учиться на действиях пользователей для разработки аспектов игрового процесса, таких как враждебное поведение в стратегических играх в реальном времени, эмпатический опыт, демонстрирующий высокий уровень эмоционального интеллекта, или прогнозирование экономической активности. системы ближе к реальной жизни, такие как симуляции (например, Sim City).

Пожалуйста, поделитесь со мной своими мыслями, если вы порекомендуете какие-либо изменения для этого поста или рекомендации по дальнейшему расширению этой тематической области.

Также, пожалуйста, подпишитесь на мой еженедельный информационный бюллетень:

Я написал о следующем, связанном с этим сообщением; они могут быть вам интересны:

Топ 5 математических концепций, которые необходимо знать для глубокого обучения

Линейная алгебра для глубокого обучения, простое объяснение

Ссылки:

1. Копель и Хайяс. (2018, 1 января). Реализация ИИ для неигровых персонажей в 3D-видеоиграх. Издательство Springer International. https://link.springer.com/chapter/10.1007/978-3-319-75417-8_57

2. Еще один шаг к идеальной точности за счет обучения CNN большим объемом данных. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/7814098.

3. Совместная кластеризация и обучение представлению на основе CNN с компенсацией дрейфа признаков для крупномасштабных данных изображения. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/8017517.

4. FAEC — эффективный метод распознавания лиц на основе CNN с использованием Dlib. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/7831628.

5. Анализ производительности фреймворков CNN для графических процессоров. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/7975270/.

6. Оптимизация слоев улучшает обобщение CNN и передачу обучения для декодирования воображаемой речи из ЭЭГ. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/8914246.

7. Пиркер, Пойер, Хольцингер и Гютл. (2017, 1 января). Взаимодействие на основе жестов в видеоиграх с помощью контроллера движения прыжка. Издательство Springer International. https://link.springer.com/chapter/10.1007/978-3-319-58071-5_47

8. дель Риего, Р., Отеро, Дж., и Ранилья, Дж. (nd). Недорогое устройство 3D-интерфейса человека, использующее алгоритмы оптического потока на основе графического процессора — IOS Press. Интегрированная компьютерная инженерия, 18 (4), 391–400. https://doi.org/10.3233/ICA-2011-0384

9. Липтон, З. К., Кале, Д. К., Элкан, К., и Ветцель, Р. (2015 г., 11 ноября). Обучение диагностике с помощью рекуррентных нейронных сетей LSTM. ArXiv.Org. https://arxiv.org/abs/1511.03677

10. Чан Б., Ким М., Хареримана Г., Канг С. и Ким Дж. В. (2020). Модель Bi-LSTM для повышения точности классификации текста: сочетание word2vec CNN и механизма внимания. Прикладные науки, 10(17). https://doi.org/10.3390/app10175841

11. Манасви. (2018, 1 января). РНН и ЛСТМ. Апресс. https://link.springer.com/chapter/10.1007/978-1-4842-3516-4_9

12. Такс, Веренич, Роза, Л. и Дюма. (2017, 1 января). Предиктивный мониторинг бизнес-процессов с помощью нейронных сетей LSTM. Издательство Springer International. https://link.springer.com/chapter/10.1007/978-3-319-59536-8_30

13. О, Т. Х., Ким, Дж. В., Сон, С. Х., Ким, Х., Ли, К., и Ли, Дж. М. (2021). Автоматическое управление процессом имитации движущегося слоя с помощью глубокой Q-сети. Journal of Chromatography A, 1647, 462073. https://doi.org/10.1016/j.chroma.2021.462073

14. Онг, Х.Ю., Чавес, К., и Хонг, А. (2015, 18 августа). Распределенное глубокое q-обучение. ArXiv.Org. https://arxiv.org/abs/1508.04186

15. Хайдер, Хоу, Ван и Скотни. (2021). Приближение нелинейной функции на основе Гаусса для обучения с подкреплением. С.Н. Информатика, 2(3), 1–12. https://doi.org/10.1007/s42979-021-00642-4

16. Мних, В., Кавуккуоглу, К., Сильвер, Д., Грейвс, А., Антоноглу, И., Вирстра, Д., и Ридмиллер, М. (2013, 19 декабря). Игра в Atari с глубоким обучением с подкреплением. ArXiv.Org. https://arxiv.org/abs/1312.5602

17. Построение состязательных примеров для изменения таблицы Q белого ящика в обучении поиску пути DQN. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/8411947/.

18. Метод планирования пути на основе глубокой q-сети (DQN) для мобильных роботов. (н.д.). IEEE Исследовать. Получено 1 августа 2022 г. с https://ieeexplore.ieee.org/abstract/document/8812452.

19. Прогулка по кратчайшему пути: алгоритм Дейкстры AlDijkstra сшит как вычисление с фиксированной точкой. (н.д.). Письма об обработке информации, 77 (2–4), 197–200. https://doi.org/10.1016/S0020-0190(00)00202-7

20. Там, где резина встречается с дорогой — Idioms by The Free Dictionary. https://idioms.thefreedictionary.com/where+the+rubber+meets+the+road