WedX - журнал о программировании и компьютерных науках

Получение потоковых данных из набора данных с помощью пользовательского приемника [Spark Streaming]

Я новичок в Spark и его библиотеках!

У меня есть случай, когда мне нужно отправить набор данных на store() пользовательского приемника, а затем передать данные из этого пользовательского приемника.

Я получаю набор данных таким образом внутри пользовательского класса приемника:

Dataset<Row> jdbcDF = spark.read()
.format("jdbc")
.option("url", "jdbc:mysql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load();

Теперь я хочу использовать этот набор данных в качестве потоковых данных, поэтому мне нужно сохранить этот набор данных в store() класса Receiver:

store(jdbcDF);

Возможна ли трансляция таким образом?

p.s Structured Streaming Programming не используется

Заранее спасибо!


  • Вы нашли какое-то решение? 30.01.2020

Ответы:


1

spark не поддерживает потоковую передачу таблицы базы данных jdbc. но он поддерживает как приемник. Скорее используйте соединение kafka для отправки ваших данных из таблицы БД в качестве службы потоковой передачи и чтения их с помощью структурированной потоковой передачи искры.

09.04.2020
Новые материалы

Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..


Для любых предложений по сайту: [email protected]