В моей компании есть кластер, за которым уже следит агент datadog. Но моей команде нужен мониторинг только для нас. Я уже просмотрел fluentd, prometheus и т. д., но не нашел возможности использовать инструмент, который мне не нужно устанавливать в моем пространстве имен.
Кто-нибудь знает вариант, когда я могу собирать журналы своих модулей только в своем пространстве имен? Например, создать модуль для графаны и еще один для сбора логов и отправки в графану или что-то в этом роде?
"but I cound't find an option for use a tool that I don't need to install in my namespace" - значит ли это, что вы не хотите ничего развертывать в своем пространстве имен? Как это должно работать? Кроме того, возможно, вам нужен loki. 13.11.2020 Вы можете использовать Fluentd как daemonset в своем кластере.
см. этот репозиторий и образы докеров -› fluent/fluentd-docker-image
и используйте этот фильтр, чтобы добавить метаданные Kubernetes в каждый журнал, собранный Fluentd, а затем используйте фильтр grep, чтобы исключить журналы, которые не находятся в ваших пространствах имен.
что-то вроде этого:
# Collect pod logs
<source>
@type tail
@id in_tail_container_logs
path /var/log/containers/*.log
pos_file /var/log/fluentd-containers.log.pos
tag kubernetes.*
exclude_path ["/var/log/containers/*fluent*.log"]
read_from_head true
<parse>
@type json
time_key time
time_format %Y-%m-%dT%H:%M:%S.%NZ
</parse>
</source>
# add Kubernetes metadata
<filter kubernetes.**>
@type kubernetes_metadata
@id filter_kube_metadata
kubernetes_url 'https://' + ENV.fetch('KUBERNETES_SERVICE_HOST') + ':' + ENV.fetch('KUBERNETES_SERVICE_PORT') + '/api'
verify_ssl true
</filter>
# filter and exclude logs that are not in the namespaces `ns1` and `ns2`
<filter kubernetes.**>
@type grep
<exclude>
key $.kubernetes.namespace_
pattern /^(?!(ns1|ns2))/
</exclude>
</filter>
/var/logдля чтения файлов журнала и возможности вызывать API-интерфейсы Kubernetes. Вы можете настроить Fluentd так, чтобы он принимал журналы от HTTP-вызовов и отправлял ему все журналы с помощью HTTP-вызова, что, я думаю, вам не подходит, поскольку вы используете много сетей. 18.11.2020