WedX - журнал о программировании и компьютерных науках

fluentd создать тег на основе значения ключа

Логи доставки из Kubernetes в агрегатор Fluentd.

Есть ли способ преобразовать одно из значений ключа в значение тега? Например, есть значение ключа для application_name. Если бы это можно было преобразовать в значение тега, можно было бы направить на разные выходы.

Спасибо,

11.06.2018

Ответы:


1

После создания записи изменить тег невозможно.

Это можно сделать повторно с помощью фильтра тегов перезаписи

Вы можете сделать что-то вроде этого:

<match kubernetes_logs>
  @type rewrite_tag_filter
  <rule>
    key application_name
    pattern (.+)
    tag $1
  </rule>
</match>

Тем не менее, этот метод позволяет Fluent обрабатывать в два раза больше записей. Если вам нужно только направить записи в разные конечные точки, обычно плагины вывода позволяют фильтровать записи по ключу.

12.06.2018
  • Протестировал это, и это работает. Когда вы говорите, что обработка удваивается, я предполагаю, что это связано с тем, что сообщение повторно отправлено снова и снова будет обрабатываться? Спасибо. 16.06.2018

  • 2

    Существует плавный плагин record_transformer. https://docs.fluentd.org/v1.0/articles/filter_record_transformer

    <filter foo.bar>
      @type record_transformer
      <record>
        hostname "#{Socket.gethostname}"
        tag ${tag}
      </record>
    </filter>
    

    Пример ввода: {"message":"hello world!"}

    Пример вывода: {"message":"hello world!", "hostname":"db001.internal.example.com", "tag":"foo.bar"}

    11.06.2018
    Новые материалы

    Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что это выглядит сложно…
    Просто начните и учитесь самостоятельно Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что он кажется мне сложным, и я бросил его. Это в основном инструмент..

    Лицензии с открытым исходным кодом: руководство для разработчиков и создателей
    В динамичном мире разработки программного обеспечения открытый исходный код стал мощной парадигмой, способствующей сотрудничеству, инновациям и прогрессу, движимому сообществом. В основе..

    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..


    Для любых предложений по сайту: [email protected]