Я узнал, что Hbase предоставляет различные метрики, которые можно использовать для мониторинга кластера и настройки параметров конфигурации для достижения наилучшей производительности. Так может ли кто-нибудь сказать, что означают эти показатели и какие показатели наиболее важны для рассмотрения?
Мониторинг кластера HBase
08.04.2016
- Ответ зависит от количества региональных серверов в вашем кластере HBase. Список ключевых метрик для кластера из 5 узлов отличается от масштабируемой установки. 09.04.2016
- Можете ли вы привести пример того, какие показатели следует отслеживать для кластера из 5 узлов? 11.04.2016
Ответы:
1
Metric Name Explanation of value
hbase.regionserver.blockCacheCount
Счетчик элементов кэша блоков в памяти. Это количество блоков StoreFiles (HFiles) в кеше.
hbase.regionserver.blockCacheEvictedCount
Количество блоков, которые пришлось удалить из кэша блоков из-за ограничений размера кучи.
hbase.regionserver.blockCacheFree
Доступная блочная кэш-память (байт).
hbase.regionserver.blockCacheHitCachingRatio
Коэффициент кэширования попаданий в кэш блоков (от 0 до 100). Коэффициент попаданий в кеш для операций чтения, настроенных на поиск в кеше (т. е. cacheBlocks=true).
hbase.regionserver.blockCacheHitCount
Количество блоков StoreFiles (HFiles), прочитанных из кэша.
hbase.regionserver.blockCa
cheHitRatio
Коэффициент попаданий в кэш блоков (от 0 до 100). Включает все запросы на чтение, хотя те, у которых cacheBlocks=false, всегда будут читать с диска и будут считаться «промахами кеша».
hbase.regionserver.blockCacheMissCount
Количество блоков StoreFiles (HFiles), запрошенных, но не прочитанных из кэша.
hbase.regionserver.blockCacheSize
Размер блочного кэша в памяти (байты), то есть память, используемая BlockCache.
hbase.regionserver.compactionQueueSize
Размер очереди уплотнения. Это количество хранилищ в RegionServer, которые были выбраны для сжатия.
hbase.regionserver.flushQueueSize
Количество поставленных в очередь регионов в MemStore, ожидающих сброса.
hbase.regionserver.fsReadLatency_avg_time
Задержка чтения файловой системы (мс). Это среднее время чтения из HDFS.
hbase.regionserver.fsReadLatency_num_ops
Операции чтения файловой системы.
hbase.regionserver.memstoreSizeMB
Сумма всех размеров хранилища памяти в этом RegionServer (МБ). hbase.regionserver.regions Количество регионов, обслуживаемых RegionServer.
hbase.regionserver.requests
Общее количество запросов на чтение и запись. Запросы соответствуют RPC-вызовам RegionServer; таким образом, одно получение приведет к 1 запросу, а сканирование с кэшированием — 1000.
Все эти показатели имеют собственное значение, которое вы можете решить самостоятельно, прочитав приведенное выше описание каждого показателя.
12.04.2016
Новые материалы
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..