Публикации по теме 'data-engineering'
Холст операций машинного обучения (MLOPs) для продуктов данных
Ссылка на оригинал статьи https://www.xomnia.com/post/xomnias-machine-learning-in-production-canvas/
Что такое MLOps и почему это важно?
MLOps — это набор практик и инструментов, направленных на обеспечение надежности и эффективности производства, развертывания и обслуживания моделей машинного обучения в производственной среде.
MLOps может иметь большое значение для вас, если вы распознаете хотя бы одну из следующих ситуаций:
Перенести приложения машинного обучения из..
Диаграммы как код в Python
Создание диаграмм архитектуры облачной системы с помощью Python
За последние несколько лет я использовал множество различных инструментов, подходящих для рисования диаграмм системной архитектуры, включая платформу данных и облачную архитектуру, в том числе draw.io и Excalidraw .
Несмотря на то, что эти платформы предлагают широкий спектр инструментов, которые могут помочь вам нарисовать нужную диаграмму, у меня всегда были проблемы с несколькими вещами. Во-первых, мне было..
Распутывая бесконечное: исследуя тайны и опасности бесконечных циклов
Прежде чем углубиться в бесконечный цикл, давайте кратко разберемся, что такое циклы? и как циклы используются в любом языке программирования.
Цикл — это последовательность инструкций, которые многократно выполняются до тех пор, пока не будет выполнено определенное условие. Циклы используются в сценариях, когда мы хотим выполнить определенное действие несколько раз, без необходимости писать один и тот же код снова и снова.
В Python есть два основных типа циклов: цикл for и цикл..
3 способа агрегирования данных в PySpark
Программирование | Большие данные | ПиСпарк
3 способа агрегирования данных в PySpark
Основные агрегаты PySpark объясняются примерами кодирования.
Рекомендуемые курсы по запросу
Несколько моих читателей обратились ко мне с просьбой о курсах по запросу, чтобы узнать больше об Apache Spark с Python. Вот 3 отличных ресурса, которые я бы порекомендовал:
Потоковая передача данных с помощью Apache Kafka и Apache Spark Nano-Degree (UDACITY) → Очень качественный курс!..
Лучшие языки программирования для изучения в 2023 году
Лучшие языки программирования для изучения в 2023 году
1. JavaScript
JavaScript — один из самых популярных в мире языков программирования в Интернете. Используя JavaScript, вы можете создавать одни из самых интерактивных веб-сайтов. Кроме того, согласно последним отчетам Stack Overflow, это один из самых требовательных языков программирования. Согласно опросу, более 97 процентов веб-сайтов используют JavaScript на клиентской стороне веб-страницы. Согласно последней статистике, 72..
Глубокое погружение в Docker-компоновку с Azure с использованием практического кода
Глубокое погружение в Docker-компоновку с Azure с использованием практического кода
Docker Compose упрощает работу специалистов по данным, инженеров данных и архитекторов данных
В динамичной сфере науки о данных, инженерии данных и архитектуры данных синергия таких инструментов, как Docker, и облачных платформ, таких как Microsoft Azure, открыла новую эру возможностей. Независимо от того, являетесь ли вы начинающим специалистом по данным, опытным инженером по обработке данных или..
Как получить доступ к вашим томам Hadoop с искровых шагов при работе под Apache-Airflow
Я довольно много работал с конвейерами Apache Airflow, чтобы автоматизировать кластеры ElasticMapReduce (EMR) на Amazon Web Services (AWS) для инженерных потоков данных, так что это первая из серии публикаций, в которых освещаются некоторые неожиданные ситуации. проблемы, с которыми я столкнулся при использовании этого инструмента, а также некоторые обходные пути, которые могут оказаться полезными, если вы столкнетесь с аналогичными проблемами.
Итак, во-первых, что именно я пытаюсь..
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..