Показать все начальные отдельные элементы после фильтрации и группировки по

Это мой начальный кадр данных:

продажиDf

itemName	sales_quantity
Apple	200
Apple	400
Pear	300
Pear	500
Banana	300

salesDf.where(col('sales_quantity') > 300)\
       .groupBy(col('itemName')).agg(sum(col('sales_quantity')))

itemName	sales_quantity
Apple	400
Pear	500

но я хотел бы что-то вроде этого

itemName	sales_quantity
Apple	400
Pear	500
Banana	0

или даже лучше

itemName	sales_quantity
Apple	400
Pear	500
Banana	0
Pineapple	0

Могу ли я указать в сгруппированном столбце значения, которые я хочу показать? Спасибо

21.01.2021

извините, плохой перевод.. кстати, я бы вставил новое значение, отсутствующее в начальном df 21.01.2021

Ответы:

Вы можете суммировать по замаскированному sales_quantity, используя when и otherwise:

import pyspark.sql.functions as F

result = salesDf.groupBy('itemName').agg(
    F.sum(
        F.when(
            F.col('sales_quantity') > 300, F.col('sales_quantity')
        ).otherwise(0)
   ).alias('sales_quantity')
)

result.show()
+--------+--------------+
|itemName|sales_quantity|
+--------+--------------+
|  Banana|             0|
|    Pear|           500|
|   Apple|           400|
+--------+--------------+

Чтобы добавить новую строку, вы можете сделать union:

result = salesDf.groupBy('itemName').agg(
    F.sum(
        F.when(
            F.col('sales_quantity') > 300, F.col('sales_quantity')
        ).otherwise(0)
   ).alias('sales_quantity')
).union(spark.sql("select 'Pineapple' , 0"))

21.01.2021

Новые материалы

Объяснение документов 02: BERT

BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

Как проанализировать работу вашего классификатора?

Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

Работа с цепями Маркова, часть 4 (Машинное обучение)

Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]

Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter

Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

Учебные заметки: создание моего первого пакета Node.js

Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!

Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..

Метки

Machine Learning JavaScript Data Science Artificial Intelligence Software Development Python Web Development Coding Deep Learning AI React Software Engineering Nodejs Java Front End Development Typescript Computer Science Data Algorithms Development NLP Tech Programming Languages CSS ChatGPT HTML Python Programming Javascript Tips Angular Computer Vision Startup Data Visualization Neural Networks Tutorial Statistics Productivity Reactjs Learning