Когда мы выдаем команду hdfs put или copyfromlocal, вызывает ли она задание mapreduce? Если да, то сколько картографов запущено? Если нет, то как осуществляется передача?
Я прочитал Анатомию файла в Полное руководство по Hadoop, но хотел бы получить больше информации по этому вопросу.
Копирование локальных файлов в HDFS выполняется с помощью задания mapreduce, когда мы используем команды put и copyFromLocal. На самом деле это делается с помощью потоковой передачи самим двоичным файлом клиента Hadoop с использованием клиентских библиотек и очередей.
При копировании содержимого в HDFS двоичная команда hadoop/hdfs использует класс DistributedFileSystem для взаимодействия с узлом Name для проверки и создания записи в пространстве имен о копируемом файле.
Затем клиент использует класс DFSOutputStream для преобразования данных в пакеты и помещает их во внутреннюю память data queue..
Класс DataStreamer будет потреблять содержимое очереди. Также класс DataStreamer консультируется с Namenode, чтобы назначить список узлов данных (включая репликации), и этот список узлов данных формирует data pipe line.
Класс DataStreamer отправляет пакеты через потоковую передачу только на первый узел в конвейере данных, и по завершении первый узел каскадируется на следующий узел, и тот же процесс продолжается до последнего узла в конвейере.
Я бы посоветовал вам прочитать главу Анатомия записи файла из полного руководства.
copyToLocal? 27.08.2015