WedX - журнал о программировании и компьютерных науках

Суммировать все соответствующие поля второго столбца для каждого вхождения полей в первом столбце

$ bpimagelist -l -d 11/01/2013 03:27:13 -e 11/01/2013 03:30:00 | awk '/^IMAGE/ {print $2, $19}'

XXclcnpde148-bak.XX 11808

XXclnXXcXXcde010-bak.XX 26400

XXcwcnpde148-bak.XX 1623072

XXcwcnpde207-bak.XX 672

XXcwcnpde207-bak.XX 672

XXcwcnpde209-bak.XX 672

XXcwcnpde209-bak.XX 672

XXcwcnpde209-bak.XX 672

-
-
-
- and continues

Мой вывод имеет 2 столбца, мне нужна команда awk linux для суммирования всех соответствующих полей 2-го столбца для каждого вхождения полей в первом столбце. Затем выведите уникальные значения столбца 1 и соответствующую ему сумму в столбце до.

awk
21.11.2013

Ответы:


1

Для суммы столбцов 2 со столбцами 1 в качестве идентификатора:

awk '{sum2[$1] += $2}; END{ for (id in sum2) { print id, sum2[id] } }' < input

Здесь $1 — это поле идентификатора, $2 — столбец 2. Мы строим массивы 1 для суммирования столбцов 2. После того, как мы обработали все строки/записи, мы перебираем ключи массива (строки идентификаторов) и печатаем значение в этом индекс массива.

21.11.2013
  • спасибо, приведенная ниже команда сработала хорошо awk '{a[$1]+=$2} END {for (x in a) print x, a[x]}' file Пожалуйста, дайте мне знать, как получить отсортированный вывод. отсортировать столбец 1 с соответствующими значениями столбца 2. а также отсортировать столбец 2 с соответствующими значениями столбца 1 21.11.2013
  • Обратите внимание, что awk '{commands}' file более чем достаточно, вам не нужен < file. 09.01.2014

    • 2

    Попробуйте подписаться на awk в своем результате.

    awk '{a[$1]+=$2} END {for (x in a) print x, a[x]}' file

    Выход:

    XXclnXXcXXcde010-bak.XX 26400
XXcwcnpde207-bak.XX 1344
XXcwcnpde148-bak.XX 1623072
XXclcnpde148-bak.XX 11808
XXcwcnpde209-bak.XX 2016

    На самом деле вы можете выполнить ту же задачу в одном awk следующим образом.

    bpimagelist ... | awk '/^IMAGE/ {a[$2]+=$19} END {for (x in a) print x, a[x]}'

    ИЗМЕНИТЬ (согласно комментарию OP)

    как получить отсортированный вывод. отсортировать столбец 1 с соответствующими значениями столбца 2. а также отсортировать столбец 2 с соответствующими значениями столбца 1

    Самый простой подход - использовать sort

    • Сортировка по столбцу 1

      awk '{a[$1]+=$2} END {for (x in a) print x, a[x]}' file | sort -k1

      -k1 является необязательным, так как это поведение по умолчанию.

    • Сортировка по столбцу 2

      awk '{a[$1]+=$2} END {for (x in a) print x, a[x]}' file | sort -n -k2

      -n для числовой сортировки, так как 2-е поле состоит из чисел

    21.11.2013
  • спасибо, приведенная ниже команда сработала хорошо awk '{a[$1]+=$2} END {for (x in a) print x, a[x]}' file Пожалуйста, дайте мне знать, как получить отсортированный вывод. отсортировать столбец 1 с соответствующими значениями столбца 2, а также отсортировать столбец 2 с соответствующими значениями столбца 1. 21.11.2013
  • @user3016638 user3016638 Пожалуйста, проверьте РЕДАКТИРОВАТЬ в моем ответе. 21.11.2013

    • 3

    В Gnu Awk версии 4 вы можете использовать PROCINFO["sorted_in"] для сортировки результата. Например:

    gawk -f a.awk file

    где a.awk:

    { a[$1]+=$2 }

END {
    print "Sorted on string value of first column:"
    print "---------------------------------------"
    PROCINFO["sorted_in"] = "@ind_str_asc" 
    for (i in a) {
        print i, a[i]
    }
    print ""
    print "Sorted on numerical value of second column:"
    print "-------------------------------------------"
    PROCINFO["sorted_in"] = "@val_num_asc" 
    for (i in a) {
        print i, a[i]
    }
}

    дает вывод:

    Sorted on string value of first column:
---------------------------------------
XXclcnpde148-bak.XX 11808
XXclnXXcXXcde010-bak.XX 26400
XXcwcnpde148-bak.XX 1623072
XXcwcnpde207-bak.XX 1344
XXcwcnpde209-bak.XX 2016

Sorted on numerical value of second column:
-------------------------------------------
XXcwcnpde207-bak.XX 1344
XXcwcnpde209-bak.XX 2016
XXclcnpde148-bak.XX 11808
XXclnXXcXXcde010-bak.XX 26400
XXcwcnpde148-bak.XX 1623072
    09.01.2014
    Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: [email protected]