Публикации по теме 'research'
Внимание — это все, что вам нужно: революция в нейронных сетях с архитектурой Transformer
Введение . В последние годы в области обработки естественного языка (NLP) произошли значительные успехи благодаря прорывам в архитектуре нейронных сетей. Среди них одна статья меняет правила игры: « Внимание — это все, что вам нужно ». Этот документ, опубликованный в 2017 году Васвани и др., представил архитектуру Transformer, которая с тех пор стала краеугольным камнем в НЛП и других областях. В этом сообщении блога мы углубимся в детали этой революционной статьи, изучая, как архитектура..
Может ли норвежская промышленность сравниться или удвоить миллиард ИИ, выделенный норвежским правительством на исследования?
Может ли норвежская промышленность сравниться или удвоить миллиард ИИ, выделенный норвежским правительством на исследования?
Должна ли норвежская промышленность ответить крупным инструментом финансирования исследований в области промышленного применения искусственного интеллекта?
Мнения, выраженные в этой статье, принадлежат только автору и не должны рассматриваться как отражение официальной позиции NORA.
В этой статье я изучаю предысторию норвежского миллиарда ИИ и предлагаю..
Превосходство современного искусства за счет настройки базовых линий
Как узнать, является ли новая модель машинного обучения улучшением по сравнению с предыдущими моделями? Один из способов - сравнить его с базовой моделью, разработанной для той же задачи. Но возникает вопрос: как узнать, хороша ли сама базовая линия? В новом препринте О сложности оценки исходных условий: исследование рекомендательных систем Рендла, Чжана и Корена говорится, что измерить, насколько хорошо базовая модель работает для конкретной проблемы, не так просто, как может показаться..
Появление языка с помощью многоагентных игр: обучение общению с помощью последовательностей символов
Сергей Гаврилов и Иван Титов (партнеры по ML из Эдинбургского университета / Амстердамского университета)
Язык был важным инструментом человеческой цивилизации для передачи знаний новым поколениям. Происхождение языка веками занимало умы людей и послужило поводом для нескольких исследований.
Однако до недавнего времени почти все математические модели для изучения появления языка должны были быть ограничены низкоразмерными простыми пространствами наблюдения из-за алгоритмических и..
Получение ресурсов для обучения машинному обучению
Не так давно я был аспирантом Калифорнийского университета в Беркли и проводил сотни экспериментов по обучению с подкреплением. К счастью, поскольку я был в лучшем (да, лучшем) научно-исследовательском институте CS в мире, у меня был доступ к графическим процессорам и серверам моих лабораторий. Однако теперь, когда я закончил учебу, я хотел опробовать некоторые из новых моделей (стабильная диффузия, кто-нибудь?). Настройка подходящих ресурсов для обучения… это была серьезная проблема...
Мои заметки об Эрни 2.0 | Байду исследования | Тест клея SOTA
Введение:
ERNIE 2.0 — это система непрерывного предварительного обучения для понимания языка, в которой предварительные задания можно постепенно создавать и изучать посредством многозадачного обучения.
Алгоритмы, предшествовавшие Эрни, в основном фокусировались на одновременном появлении слов и предложений, но вместе с тем Эрни привносит понимание на уровне токенов, на структурном уровне и на семантическом уровне.
Основное преимущество – непрерывное обучение. Направлено на..
«Тренируйте большие, а затем сжимайте» - BAIR Калифорнийского университета в Беркли совершенствует обучение модели больших трансформаторов и ...
В текущем состоянии глубокого обучения методы, которые можно использовать для повышения точности модели, в основном сводятся к увеличению размера модели, размера набора данных или количества шагов обучения. Однако эти методы требуют больших и очень дорогих вычислительных ресурсов. Оптимизация вычислительной эффективности стала ключевой целью исследователей, когда вычислительные ресурсы ограничены. Как добиться более высокой точности при ограниченном аппаратном обеспечении и времени..
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..