WedX - журнал о программировании и компьютерных науках

Python: как найти наиболее частое сочетание элементов?

Машина предоставляет коды ошибок, которые указаны в кадре данных pandas. id идентифицирует машину, code — код неисправности:

df = pd.DataFrame({
    "id": [1,1,1,1,1,2,2,2,2,3,3,3,3,3,3,4],
    "code": [1,2,5,8,9,2,3,5,6,1,2,3,4,5,6,7],
})

введите здесь описание изображения

Пример чтения: Машина 1 сгенерировала 5 кодов: 1,2,5,8 и 9.

Я хочу выяснить, какие комбинации кода наиболее часто встречаются на всех машинах. Результатом для примера будет что-то вроде [2](3x), [2,5](3x), [3,5](2x) и так далее.

Как я могу этого добиться? Поскольку данных много, я ищу эффективное решение.

Вот два других способа представления данных (на случай, если это упростит расчет):

pd.crosstab(df.id, df.code)

введите здесь описание изображения

df.groupby("id")["code"].apply(list)

введите здесь описание изображения

python pandas combinations
28.09.2020

  • Имеет ли значение порядок? [2, 5] отличается от [5,2]? 28.09.2020
  • Порядок не имеет значения; [2,5] равно [5,2]. 28.09.2020

Ответы:


1

Используйте пользовательскую функцию all_subsets, затем выравнивайте значения с помощью Series.explode и последнее использование Series.value_counts:

from itertools import chain, combinations

#https://stackoverflow.com/a/5898031
#only converted to list and removed empty tuples by range(1,...
def all_subsets(ss):
    return list(chain(*map(lambda x: combinations(ss, x), range(1, len(ss)+1))))

s = df.groupby('id')['code'].apply(all_subsets).explode().value_counts()
print (s)
(2,)            3
(2, 5)          3
(5,)            3
(1, 2)          2
(3, 6)          2
               ..
(1, 5, 8)       1
(9,)            1
(1, 3, 4, 6)    1
(5, 8, 9)       1
(4, 6)          1
28.09.2020
  • Большое спасибо! Не могли бы вы немного поработать над своим кодом? 28.09.2020
  • @Julian - я создаю все возможные комбинации для группы для списка кортежей, поэтому добавил explode для списка кортежей для возможного подсчета на value_counts 28.09.2020
    • Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: wedx@cp9.ru