WedX - журнал о программировании и компьютерных науках

Как импортировать локальный пакет Python в Amazon Elastic MapReduce (EMR)?

У меня есть два скрипта Python, которые предназначены для работы в Amazon Elastic MapReduce: один в качестве преобразователя и один в качестве редюсера. Я только недавно расширил сценарий сопоставления, чтобы потребовать еще пару локальных моделей, которые я создал, и обе они находятся в пакете под названием SentimentAnalysis. Как правильно импортировать скрипт Python из локального пакета Python на S3? Я попытался создать ключи S3, имитирующие мою файловую систему, в надежде, что относительные пути будут работать, но, увы, это не сработало. Вот что я вижу в файлах журнала на S3 после того, как шаг не удался:

Traceback (most recent call last):
File "/mnt/var/lib/hadoop/mapred/taskTracker/hadoop/jobcache/job_201407250000_0001/attempt_201407250000_0001_m_000000_0/work/./sa_mapper.py", line 15, in <module>
from SentimentAnalysis import NB, LR
ImportError: No module named SentimentAnalysis

Соответствующая файловая структура выглядит следующим образом:

sa_mapper.py
sa_reducer.py
SentimentAnalysis/NB.py
SentimentAnalysis/LR.py

И mapper.py имеет:

from SentimentAnalysis import NB, LR

Я попытался отразить файловую структуру в S3, но, похоже, это не сработало.

Как лучше всего настроить S3 или EMR, чтобы sa_mapper.py мог импортировать NB.py и LR.py? Есть ли какой-то особый трюк для этого?

python amazon-web-services hadoop-streaming elastic-map-reduce
25.07.2014

Ответы:


1

у вас есть

__init__.py

в папке SentimentAnalysis?

25.07.2014
  • Да, у меня есть файл init.py в папке SentimentAnalysis. 25.07.2014

    • 2

    Какую команду вы выполняете?
    Единственный способ сделать это — когда вы хотите запустить шаг, у вас есть дополнительные поля, которые вы можете использовать для шага, например: если вы используете пакет boto для запуска задача на emr, у вас есть класс: StreamingStep

    в нем у вас есть параметры: (если вы используете версию 2.43)
    cache_files (list(str)) — список файлов кеша, которые должны быть связаны с заданием
    cache_archives (list(str)) — список архивы jar, которые будут связаны с заданием

    это означает, что вам нужно передать путь к файлам папки, которую вы хотите взять из s3, в свой кластер. синтаксис:
    s3://{s3 bucket path}/EMR_Config.py#EMR_Config.py
    Где хэштег — это разделитель, который вы используете, часть до (#) — это местоположение в вашем s3, а часть после — это имя, которое вы хотите иметь, и местоположение, в настоящее время он будет расположен в том же месте, что и ваша задача, которую вы выполняете.

    Те, что у вас есть в вашем кластере, вы не можете просто импортировать. Что сработало:

    # we added a file named EMR_Config.py, 
sys.path.append(".")

#loading the module this way because of the EMR file system
module_name = 'EMR_Config'
__import__(module_name)
Config = sys.modules[module_name]

#now you can access the methods in the file, for example:
topic_name = Config.clean_key(row.get("Topic"))
    30.11.2016
    Новые материалы
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    ИИ в аэрокосмической отрасли
    Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..
    Для любых предложений по сайту: wedx@cp9.ru