Публикации по теме 'data-engineering'
Мой опыт в МС Программа Data Analytics Engineering в GMU (онлайн-версия)
Примечание. Я пишу эту статью сразу после завершения второго и последнего семестра, и, как и для всех студентов этой программы, будь то в кампусе или дистанционно, как и я, моим последним курсом в следующем семестре будет Группа аналитики данных. Capstone Project, который должен быть самым важным курсом в программе. Таким образом, мне, вероятно, придется написать дополнительную статью после завершения этого курса.
Необязательный раздел, объясняющий мою личную биографию и мотивы подачи..
Тема: 7 Обработка смешанных переменных даты и времени
Что такое смешанные переменные в данных?
Смешанные переменные в данных относятся к наличию переменных разных типов в одном наборе данных. В контексте машинного обучения смешанные переменные могут означать наличие как числовых, так и категориальных переменных, а также наличие как непрерывных, так и дискретных переменных.
Например, набор данных может содержать как числовые переменные, такие как доход и возраст, так и категориальные переменные, такие как пол и род занятий. Этот тип..
Вам нужен магазин функций?
Магазины функций упрощают и удешевляют создание более точных моделей машинного обучения.
Автор: Монте Цвебен , Морган Суини
Модель машинного обучения будет настолько хороша, насколько хороши данные, в которые она поступила. Чтобы быть более точным, модель хороша настолько, насколько хороши функции , которые ей были предоставлены.
Функция - это полезный показатель или атрибут, взятый либо из точки необработанных данных, либо из совокупности нескольких точек исходных данных...
Точная настройка MPT-7B на Amazon SageMaker
Точная настройка MPT-7B на Amazon SageMaker
Узнайте, как подготовить набор данных и создать обучающее задание для точной настройки MPT-7B в Amazon SageMaker.
Каждую неделю объявляются новые большие языковые модели (LLM), каждая из которых пытается превзойти свою предшественницу и занять первое место в списках лидеров. Одна из последних моделей — MPT-7B , выпущенная MosaicML. В отличие от других моделей в своем роде, эта модель с 7 миллиардами параметров имеет открытый исходный код..
Улучшение качества данных: основа для точных и надежных моделей
В этой статье рассматривается важность подачи высококачественных данных в модели машинного обучения и проливается свет на несколько проблем с качеством данных, которые, если их не решить, могут подорвать целостность проектов по науке о данных.
Изучение Apache Iceberg — самоанализ
Преодоление разрыва между тем, что я знал, и тем, что я хотел узнать. Это первая история, которую я решил написать о своем процессе изучения Apache Iceberg.
Мотивация
Некоторое время я интересовался Data Engineering. Хотя моя должность официально называется «инженер-программист», большая часть моей работы связана с написанием ETL, SQL-запросов, терраформирования и проверок DQ. И я не претендую на звание Data Engineer, но меня интересует эта область.
Одним из первых инструментов,..
Четыре функции для повышения уровня ваших навыков Pandas
Назначить, сопоставить, запросить и разнести; самые горячие методы в городе
Введение
Независимо от того, являетесь ли вы специалистом по данным, инженером данных, аналитиком данных или экспертом по машинному обучению, вам придется работать с табличными данными. Если вы пользователь Python, для работы с табличными данными вам подойдет библиотека Pandas 🐼. Из-за того, что табличные данные вездесущи, Pandas, вероятно, является одной из наиболее часто используемых библиотек среди..
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..