WedX - журнал о программировании и компьютерных науках

Перемещает ли nodetool compact все в один SSTable

Процесс сжатия Cassandra уменьшает количество SSTables (файлов данных на диске), используемых для хранения данных. Незначительное уплотнение происходит автоматически. Вы можете указать Кассандре выполнить серьезное уплотнение, используя команду nodetool compact.

Выполняется ли nodetool compact просто один раунд уплотнения, уменьшая количество SSTables, но, возможно, все еще приводя к тому, что существует несколько SSTables? Или он всегда сжимает все SSTables (семейства столбцов) в одну SSTable?

cassandra
10.09.2015

Ответы:


1

Это будет зависеть от стратегии уплотнения, которую вы установили для стола.

Для DateTieredCompactionStrategy и LeveledCompactionStrategy я по определению не думаю, что даже серьезное сжатие объединит все SSTables, поскольку это противоречит структуре SSTables, которую они стремятся создать.

Для размера по умолчанию SizeTieredCompactionStrategy, как ни странно, кажется, что при большом сжатии SSTables будут объединены в единую таблицу. Я запустил cassandra-stress -write и некоторое время смотрел SSTables. Я мог видеть незначительные уплотнения, объединяющие SSTables одинакового размера, но не объединяющие разнородные размеры в один.

Затем, когда я запускал nodetool compact на столе, он объединял SSTables разного размера в одну таблицу. Я не уверен, что это будет правдой во всех случаях.

Взглянув на источник, в CompactionManager.java он вызывает cfStore.getCompactionStrategy (). GetMaximalTask ​​(gcBefore), который возвращает список задач, которые он выполняет, так что это подразумевает, что он все сжимает, но я не углубиться глубже, чем это.

10.09.2015
  • Если вы вручную запустите nodetool compact в кластере с SizeTieredCompactionStrategy, вы, вероятно, будете ждать очень долгое время b4 вы получите достаточно SSTables размером с тот, который вы создали вручную. 15.09.2015
    • Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: wedx@cp9.ru