У меня есть zip-архив, загруженный в S3 в определенное место (например, /foo/bar.zip). Я хотел бы извлечь значения из bar.zip и поместить его в /foo без загрузки или повторной загрузки извлеченных файлов. Как я могу это сделать, чтобы S3 обрабатывался почти как файловая система
Как извлечь файлы из zip-архива в S3
03.02.2015
Ответы:
1
S3 на самом деле не предназначен для этого; обычно вам нужно скачать файл, обработать его и загрузить извлеченные файлы.
Однако может быть несколько вариантов:
Вы можете смонтировать корзину S3 как локальную файловую систему, используя
s3fsиFUSE(см. статью и сайт github). Это по-прежнему требует загрузки и выгрузки файлов, но скрывает эти операции за интерфейсом файловой системы.Если ваша главная задача — избежать загрузки данных из AWS на локальный компьютер, то, конечно, вы можете загрузить данные на удаленный экземпляр EC2 и выполнять работу там, с
s3fsили без него. Это позволяет хранить данные в центрах обработки данных Amazon.Вы можете выполнять удаленные операции с файлами, не загружая их на локальный компьютер, с помощью AWS Lambda.
Вам нужно будет создать, упаковать и загрузить небольшую программу, написанную на node.js, для доступа, распаковки и загрузки файлов. Эта обработка будет происходить в инфраструктуре AWS за кулисами, поэтому вам не нужно будет загружать какие-либо файлы на свой компьютер. См. Часто задаваемые вопросы.
Наконец, вам нужно найти способ активировать этот код — обычно в Lambda это будет запускаться автоматически при загрузке zip-файла на S3. Если файл уже существует, вам может потребоваться активировать его вручную с помощью команды invoke-async, предоставляемой API AWS. См. AWS Lambda пошаговые руководства и документация по API.
Тем не менее, это довольно сложный способ избежать загрузок, и, вероятно, он того стоит, только если вам нужно обработать большое количество zip-файлов! Также обратите внимание, что (по состоянию на октябрь 2018 г.) функции Lambda ограничены 15 минутами максимальная продолжительность (время ожидания по умолчанию составляет 3 секунды), поэтому может не хватить времени, если ваши файлы очень большие, но, поскольку рабочее пространство в /tmp ограничено 500 МБ, ваш размер файла также ограничен.
18.02.2015
Новые материалы
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
ИИ в аэрокосмической отрасли
Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..