Публикации по теме 'kafka'
Сбросить указатель Kafka на определенное смещение
Вы находитесь в ситуации, когда хотите слушать сообщения Kafka с определенного смещения. Для этого вам нужно реализовать интерфейс с именем ConsumerSeekAware и искать позицию, с которой вы хотите читать. В этой статье я реализую процесс сброса прослушивателя сообщений Kafka на определенное смещение с помощью Java и Spring Framework.
План:
Реализуйте интерфейс ConsumerSeekAware , который ищет смещение. Создайте прослушиватель Kafka, который принимает сообщения. Создайте..
Модели межузловой связи в распределенных системах
В распределенном мире, где ваше приложение работает в конфигурации с многоузловой , часто могут возникать требования, когда узлам необходимо взаимодействовать друг с другом или передавать сообщения между собой. В этом блоге мы собираемся обсудить некоторые практические подходы к решению проблем связи между узлами в распределенных системах.
Обратите внимание, что это далеко не исчерпывающий список паттернов. В этом блоге будут рассмотрены некоторые практические шаблоны/подходы,..
Соображения безопасности при использовании перечислений в схемах Avro
EXPEDIA GROUP ТЕХНОЛОГИИ — ДАННЫЕ
Соображения безопасности при использовании перечислений в схемах Avro
Использование перечислений обычно является хорошей практикой, но это не всегда так при использовании Apache Avro.
Apache Avro обычно используется как в пакетных системах, так и в системах данных реального времени для описания расширяемых и защищаемых схем данных. Avro позволяет создавать системы данных, в которых типы данных можно изменять, не затрагивая производителей или..
Распределенные запросы в микросервисной архитектуре
Я написал это как внутренний документ WeWork и неоднократно ссылался на него, когда помогаю командам принимать решения по этому поводу.
Архитектура микросервисов дает большие преимущества. Он обеспечивает основу для слабосвязанной архитектуры, которая позволяет командам работать независимо и независимо друг от друга. Это также позволяет нам иметь большую гибкость в работе. Некоторые службы могут значительно масштабироваться, в то время как для других вам нужно всего несколько..
Spring Boot, Kafka, неблокирующие повторные попытки — Практическое руководство
Неблокирующая обработка ошибочных сообщений в Kafka с RetryableTopic в приложении Spring Boot
Иногда, когда мы обрабатываем сообщения из топиков Kafka, могут возникать ошибки. Например, потребительские службы или другая инфраструктура могут быть недоступны. Мы хотим убедиться, что не теряем никаких данных, и пытаемся обработать неудавшиеся сообщения.
Поведение обработки сбоев Kafka по умолчанию повторяет попытки обработки сообщений бесконечно. Это невыгодно, потому что некоторые..
Kafka: мощная технология асинхронного обмена сообщениями
Знаете ли вы, что более трети компаний из списка FORTUNE 500 используют Kafka в качестве единственной потоковой платформы?
Для тех, кто не знаком с Kafka, это система обмена сообщениями на основе публикации и подписки, которая является высокоэффективной, отказоустойчивой, масштабируемой и позволяет разработчикам проектировать и создавать распределенные приложения.
Как вы читаете, Kafka поддерживает такие сервисы, как Spotify, Slack, Uber, AirBnB, Twitter, LinkedIn и другие. Люди..
Живые карты листовки с Кафкой
Создайте карту в реальном времени с сообщениями Leaflet.JS и Kafka
Итак, добро пожаловать в последнюю часть серии Карты в реальном времени с помощью Kafka, Python и Leaflet.JS . Мы рассмотрим, как вызвать Python Kafka Consumer API из нашего интерфейса Javascript с событиями, отправленными сервером, и отобразить их на карте листовки в режиме реального времени.
Сначала мы раскручиваем наш index.html. По сути, он включает в себя три шага для создания базовой карты буклета...
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..