WedX - журнал о программировании и компьютерных науках

Показать все начальные отдельные элементы после фильтрации и группировки по

Это мой начальный кадр данных:

продажиDf

itemName sales_quantity
Apple 200
Apple 400
Pear 300
Pear 500
Banana 300 
salesDf.where(col('sales_quantity') > 300)\
       .groupBy(col('itemName')).agg(sum(col('sales_quantity')))
itemName sales_quantity
Apple 400
Pear 500

но я хотел бы что-то вроде этого

itemName sales_quantity
Apple 400
Pear 500
Banana 0

или даже лучше

itemName sales_quantity
Apple 400
Pear 500
Banana 0
Pineapple 0

Могу ли я указать в сгруппированном столбце значения, которые я хочу показать? Спасибо

python apache-spark pyspark apache-spark-sql pyspark-dataframes
21.01.2021

  • извините, плохой перевод.. кстати, я бы вставил новое значение, отсутствующее в начальном df 21.01.2021

Ответы:


1

Вы можете суммировать по замаскированному sales_quantity, используя when и otherwise:

import pyspark.sql.functions as F

result = salesDf.groupBy('itemName').agg(
    F.sum(
        F.when(
            F.col('sales_quantity') > 300, F.col('sales_quantity')
        ).otherwise(0)
   ).alias('sales_quantity')
)

result.show()
+--------+--------------+
|itemName|sales_quantity|
+--------+--------------+
|  Banana|             0|
|    Pear|           500|
|   Apple|           400|
+--------+--------------+

Чтобы добавить новую строку, вы можете сделать union:

result = salesDf.groupBy('itemName').agg(
    F.sum(
        F.when(
            F.col('sales_quantity') > 300, F.col('sales_quantity')
        ).otherwise(0)
   ).alias('sales_quantity')
).union(spark.sql("select 'Pineapple' , 0"))
21.01.2021
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
Для любых предложений по сайту: [email protected]