WedX - журнал о программировании и компьютерных науках

ИЛИ условие в фрейме данных полное внешнее соединение, снижающее производительность spark/scala

Я вижу, что если мое условие присоединения включает предложение OR, это занимает много времени по сравнению с предложением AND. Я делаю полное соединение.

Мой модульный тест не показывает большой разницы, но при работе с большим набором данных он работает очень медленно.

df1.join(df2, expr("id1 = id2 AND amount1 = amount2"), "fullouter").cache()

Следующие выполняются в течение длительного времени, т.е. величина ~ в 10 раз медленнее

df1.join(df2, expr("id1 = id2 OR amount1 = amount2"), "fullouter").cache()

Какие-нибудь мысли?

apache-spark apache-spark-sql scala join
22.08.2018

  • Так как в условии И, если первое условие не выполняется, следующее условие не проверяется. Принимая во внимание, что в условии ИЛИ, даже если первое условие ложно, есть вероятность, что результат будет истинным, если второе условие истинно. Кроме того, это включает внешнее соединение, и, следовательно, вы видите эту огромную разницу во времени выполнения. 22.08.2018
  • Похоже на ответ 22.08.2018

Ответы:


1

TL;DR Ожидается разница в производительности между этими двумя.

  • Логическая конъюнкция (AND) может быть выражена как операция на основе перемешивания (либо сортировка слиянием, либо перемешивание хэш-соединения) — это означает, что каждая запись должна быть передана только в один дочерний раздел на основе хэша всех выражений, включенных в объединение. условие.

    В то время как в худшем случае (все ключи соединения являются постоянными и совпадают между обоими наборами данных) может потребоваться N * M сравнений со всеми записями, перетасованными в один раздел, типичные сценарии с реальными данными должны быть намного более эффективными, что делает примерно N + M сравнений.

  • Логическая дизъюнкция (OR) не может быть выражена как простая операция на основе перетасовки, так как хэширование записей в разные корзины может сопоставляться*. Поэтому Spark использует декартово произведение с последующим выбором, всегда передавая каждую запись несколько раз и выполняя сравнения N*M.

22.08.2018
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
Для любых предложений по сайту: [email protected]