WedX - журнал о программировании и компьютерных науках

Как устранить ошибку «Не удалось определить имя хоста экземпляра» с помощью spark-ec2?

Попытка запустить кластер Spark на EC2, получая ошибку «Не удалось определить имя хоста экземпляра» (чувствительные элементы заменены на *):

$ spark-ec2 --vpc-id=vpc-* --subnet-id=subnet-* --slaves=1 --key-pair=* --identity-file=/Users/matthew/.ssh/* --instance-type=m3.large --master-instance-type=m3.large --region=us-east-1 --zone=us-east-1d --spark-version=2.0.2 --spark-ec2-git-branch=branch-2.0 launch spark-test
Setting up security groups...
Searching for existing cluster spark-test in region us-east-1...
Spark AMI: ami-35b1885c
Launching instances...
Launched 1 slave in us-east-1d, regid = r-0e02da15c115f6da2
Launched master in us-east-1d, regid = r-0d0f08c5f2a46a1df
Waiting for AWS to propagate instance metadata...
Applying tags to master nodes
Applying tags to slave nodes
Waiting for cluster to enter 'ssh-ready' state...........
Error:
 Failed to determine hostname of Instance:i-0909d1ed1af09cd09.
Please check that you provided --private-ips if necessary

Я не могу подключиться к мастеру по ssh, потому что нет общедоступного ipv4. Мои переменные env AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY настроены правильно, и у моей учетной записи есть полные права, насколько мне известно. Как устранить эту ошибку?

РЕДАКТИРОВАТЬ 1: FYI, введенная проблема https://github.com/amplab/spark-ec2/issues/90

amazon-ec2 apache-spark spark-ec2
07.03.2017

Ответы:


1

У меня была эта проблема, когда я запускал частную подсеть (подсеть без интернет-шлюза). Одно из решений — убедиться, что это общедоступная подсеть. «Автоматическое назначение общедоступных IP-адресов» также должно быть включено в подсети.

Если вам нужна частная подсеть, вы можете попробовать использовать флаг --private-ips, хотя я этого не пробовал.

09.03.2017
  • В моей подсети есть интернет-шлюз 10.03.2017
    • Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: [email protected]