У меня есть фрейм данных, который выглядит так:
df:
col1 col2
a [p1,p2,p3]
b [p1,p4]
Желаемый результат:
df_out:
col1 col2 col3
p1 p2 a
p1 p3 a
p2 p3 a
p1 p4 b
Я провел небольшое исследование и считаю, что преобразование df в rdd, а затем flatMap с cartesian продуктом идеально подходят для решения этой проблемы. Однако я не мог объединить их вместе.
Спасибо,
Похоже, вы пытаетесь использовать комбинацию, а не декартово. Пожалуйста, проверьте мое понимание.
Это в PySpark, но единственное, что есть в Python, - это UDF, остальное - это просто операции DataFrame.
процесс
from itertools import combinations
from pyspark.sql import functions as F
df = spark.createDataFrame([
("a", ["p1", "p2", "p3"]),
("b", ["p1", "p4"])
],
["col1", "col2"]
)
# define and register udf that takes an array and returns an array of struct of two strings
@udf("array<struct<_1: string, _2: string>>")
def combinations_list(x):
return combinations(x, 2)
resultDf = df.select("col1", F.explode(combinations_list(df.col2)).alias("combos"))
resultDf.selectExpr("combos._1 as col1", "combos._2 as col2", "col1 as col3").show()
Результат:
+----+----+----+
|col1|col2|col3|
+----+----+----+
| p1| p2| a|
| p1| p3| a|
| p2| p3| a|
| p1| p4| b|
+----+----+----+
