Публикации по теме 'big-data'
Введение в Spark с Python: подробное объяснение архитектуры Spark и компонентов
PySpark для начинающих
Введение в Spark с Python: подробное объяснение архитектуры Spark и компонентов
Объяснение Spark для начинающих - ELI5
Обзор
В этой статье мы обсудим архитектуру фреймворка Hadoop и ограничения MapReduce при обработке больших данных, которые выступают в качестве мотивации для разработки фреймворка Apache Spark. После этого мы обсудим различные компоненты Spark и его архитектуру и, наконец, взглянем на PySpark API.
Table of contents :
1. Big Data and..
Продать или продать малым и средним предприятиям? Развивающиеся рынки — это путь к развитию вашего бизнеса.
Многомиллиардная возможность как для малых, так и для крупных компаний сегодня остается почти нетронутой: обслуживание миллионов малых и средних предприятий (SMB) на развивающихся рынках.
Для многих компаний экспансия в развивающиеся страны кажется пугающей. Есть причина, по которой этот рынок остается в основном бесхозным. Пересечение сегодняшней глобальной экономической среды и появляющихся технологических достижений представляет собой уникальную возможность для местных маркетинговых..
Обзор группы данных: понимание ролей инженера данных, специалиста по данным и данных…
Введение
Привет!! Меня зовут Санджай, мне 18 лет, и я учусь на первом курсе компьютерных наук. Я работаю в технике уже почти два года. Ранее я работал UI/UX дизайнером и Front-end разработчиком (в основном удаленная работа).
Это мой первый блог, связанный со специализацией/работой с данными. В течение нескольких месяцев я был в кроличьей норе, как крупные технологические компании и стартапы используют большие данные для облегчения принятия решений и улучшения качества продуктов или..
Торговля криптовалютами на 1м таймфрейме с использованием ML и получение более 1% прибыли в день
Название может показаться вам сказочным, хотя результаты удивили и нашу команду. Но обо всем по порядку!
№1. Источник данных
В качестве источника данных мы решили использовать финансовые котировки Binance Spot Market по валютной паре MATICUSDT .
Binance позволяет получать данные для 1м графика в свободном доступе, вам даже не нужно получать ключ API.
Данные о MATICUSDT начинаются с 12 января 2019 года. На момент написания этой статьи уже существует около 1 400 000 строк...
Механизм рекомендаций с параллельным программированием (PySpark)
Каков наилучший способ сломать компьютер? Создайте механизм рекомендаций с матричной факторизацией из набора данных объемом 12 ГБ на своем ноутбуке.
Если вы хотите создать механизм музыкальных рекомендаций с методом совместной фильтрации, а ваш набор данных содержит 21 866 пользователей и 151 499 музыкальных композиций, технически вы обучаете модель прогнозировать, понравится ли каждому пользователю та или иная музыка. Если вы сделаете математику, модель будет обучена для каждого..
5 преимуществ искусственного интеллекта
Одним из самых неправильно понимаемых терминов в области технологий является искусственный интеллект . Было несколько аргументов о том, как это может привести к очень тревожной концепции для человечества. Однако, не зная, когнитивная система уже используется и даже ценится всеми, кто опасается ее эффекта. Некоторые утверждают, что это приведет к некоторым искажениям, особенно к безработице. Однако искусственный интеллект управляется, поддерживается и даже кодируется людьми. Это..
Безмолвная аутентификация
Введение
В течение многих лет двухфакторная аутентификация (2FA) и многофакторная аутентификация (MFA) широко использовались для обеспечения подлинности и в качестве механизма предотвращения мошенничества.
Технологические достижения, существует множество решений, предлагающих адаптивную аутентификацию, которые сочетают в себе различные многофакторные решения в разных областях, таких как биометрические данные, физические токены, аппаратные токены и мобильный код.
Проблемы MFA..
Новые материалы
Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что это выглядит сложно…
Просто начните и учитесь самостоятельно
Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что он кажется мне сложным, и я бросил его. Это в основном инструмент..
Лицензии с открытым исходным кодом: руководство для разработчиков и создателей
В динамичном мире разработки программного обеспечения открытый исходный код стал мощной парадигмой, способствующей сотрудничеству, инновациям и прогрессу, движимому сообществом. В основе..
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..