WedX - журнал о программировании и компьютерных науках

Пропуск плохих входных файлов в hadoop

Я использую Amazon Elastic MapReduce для обработки некоторых файлов журналов, загруженных на S3.

Файлы журналов загружаются ежедневно с серверов, использующих S3, но кажется, что некоторые из них повреждаются во время передачи. Это приводит к исключению java.io.IOException: IO error in map input file.

Есть ли способ заставить hadoop пропустить плохие файлы?

hadoop hadoop-streaming elastic-map-reduce
12.11.2013

  • Используете ли вы Java Mapper или потоковую передачу (у вас установлен тег hadoop-streaming для этого вопроса)? 13.11.2013
  • Я использую потоковую передачу (на самом деле это скрипт Python, который анализирует журналы) 13.11.2013

Ответы:


1

Для этого можно использовать множество свойств конфигурации пропуска записи — см. свойства с префиксом mapred.skip. в https://hadoop.apache.org/docs/r1.2.1/mapred-default.html

Там также есть хорошая запись в блоге об этой теме и этих свойствах конфигурации:

Тем не менее, если ваш файл полностью поврежден (то есть поврежден до первой записи), у вас могут возникнуть проблемы даже с этими свойствами.

13.11.2013
  • Я видел это, но насколько я понимаю, это относится только к поврежденным строкам (с которыми я могу справиться сам с помощью try/except в python) 13.11.2013
  • Что ж, в этом случае вам, вероятно, потребуется написать свои собственные классы InputFormat и RecordReader, которые могут соответствующим образом обрабатывать поврежденные файлы. 14.11.2013

    • 2

    Комментарий Криса Уайта, предлагающий написать свои собственные RecordReader и InputFormat, совершенно правильный. Недавно я столкнулся с этой проблемой и смог решить ее, перехватив исключения файлов в этих классах, зарегистрировав их, а затем перейдя к следующему файлу.

    Я написал некоторые подробности (включая полный исходный код Java) здесь: https://daynebatten.com/2016/03/dealing-with-corrupt-or-blank-files-in-hadoop/

    22.03.2016
    Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: [email protected]