WedX - журнал о программировании и компьютерных науках

Объединение двух фреймов данных с использованием нескольких столбцов в качестве ключей, хранящихся в массиве в Apache Spark

Как рассчитать объединение двух фреймов данных, используя несколько столбцов в качестве ключа? Например, DF1, DF2 - это два фрейма данных.

Это способ, которым мы можем вычислить соединение,

JoinDF = DF1.join(DF2, DF1("column1") === DF2("column11") && DF1("column2") === DF2("column22"), "outer")

Но моя проблема в том, как получить доступ к нескольким столбцам, если они хранятся в таких массивах, как:

DF1KeyArray=Array{column1,column2}
DF2KeyArray=Array{column11,column22}

тогда Невозможно вычислить соединение этим методом

JoinDF = DF1.join(DF2, DF1(DF1KeyArray)=== DF2(DF2KeyArray), "outer")

В этом случае ошибка была:

<console>:128: error: type mismatch;
found   : Array[String]
required: String

Есть ли способ получить доступ к нескольким столбцам в качестве ключей, хранящихся в массиве, для расчета соединения?

apache-spark dataframe apache-spark-sql scala join
02.02.2016

  • Пожалуйста, отформатируйте свой вопрос! Это не читается. Также добавьте тег языка программирования! 02.02.2016
  • @eliasah Scala - это язык программирования. 02.02.2016

Ответы:


1

Вы можете просто создать joinExprs программно:

val df1KeyArray: Array[String] = ???
val df2KeyArray: Array[String] = ???

val df1: DataFrame = ???
val df2: DataFrame = ???

val joinExprs = df1KeyArray
  .zip(df2KeyArray)
  .map{case (c1, c2) => df1(c1) === df2(c2)}
  .reduce(_ && _)

df1.join(df2, joinExprs, "outer")

См. Также Включение нулевых значений в соединение Apache Spark

02.02.2016
  • хорошее использование .reduce(_ && _) 02.02.2016
  • Лучший способ объединиться, используя несколько столбцов. @ zero323 Пожалуйста, добавьте, что если кто-то хочет вернуть истину (а не NULL), если оба входа равны NULL, то === необходимо заменить на ‹=› (EqualNullSafe) 08.05.2017
    • Новые материалы
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    ИИ в аэрокосмической отрасли
    Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..
    Для любых предложений по сайту: [email protected]