WedX - журнал о программировании и компьютерных науках

Почему картограф идентичности может выйти из памяти?

В задании Hadoop только для редукции входные файлы обрабатываются средством сопоставления удостоверений и отправляются редукторам без изменений. В какой-то своей работе я был очень удивлен, увидев, что задание не удалось на этапе карты с «Ошибкой нехватки памяти» и «Превышено ограничение накладных расходов GC».

В моем понимании, об утечке памяти на карте идентификации не может быть и речи. Что может быть причиной такой ошибки?

java out-of-memory amazon-emr hadoop
06.09.2012

Ответы:


1

После нескольких часов исследований, проб и ошибок я понял, что машины, которые я выделил для группы TASK, были небольшими экземплярами с небольшим объемом памяти, и, что более интересно, точка, в которой у меня заканчивалась память, была во время перетасовки, а не отображения.

06.09.2012
  • Не могли бы вы сообщить мне, как вы выяснили, что это происходит на этапе перемешивания? У меня аналогичная проблема с редукторами. 20.03.2013
  • Я понял это, посмотрев вглубь следы OOM. Исключения возникали в функциях Hadoop, связанных с перетасовкой. 22.03.2013
  • @sortega Я получаю ту же ошибку, но в кластере из 4 узлов каждый имеет 17 ГБ памяти в кластере Elastic MapReduce. Не могли бы вы объяснить свои данные (размер, строки, столбцы и т. д.)? Мой файл дампа MongoDB размером около 223 ГБ в формате bson. 24.11.2013
    • Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: [email protected]