WedX - журнал о программировании и компьютерных науках

Получение zip и неархивированных файлов с ftp-сайта через фабрику данных Azure - распаковка

Я успешно получаю файлы с ftp-сайта через фабрику данных Azure и распаковываю их в процессе. Я устанавливаю исходный набор данных для ZipDeflate. Однако теперь у меня есть аналогичный конвейер, где мне нужно получать файлы с ftp-сайта, где есть смесь файлов .zip и других типов файлов, таких как .csv и .xls.

Когда я пытаюсь выполнить ZipDeflate для этого действия копирования, он хочет «спустить» все файлы (а не только .zip). Я как бы ожидал этого. Я думаю, что единственное, что нужно распаковать только файлы .zip и НЕ разархивировать файлы .xls и .csv, - это делать их в отдельных действиях копирования (одно для файлов, нуждающихся в распаковке, а другое для всех остальных) .... Это правильно или есть другой способ сделать все это в одном действии?

Спасибо!! J

azure azure-data-factory unzip
31.05.2018

Ответы:


1

Ну да. У вас должно быть два действия по копированию. Но в этом случае у вас будет два исходных набора данных с разными фильтрами файлов, я думаю. (один для .zip и второй для всех остальных) Мне пришло в голову использовать действие метаданных для получения имени файла. После этого в условии IF вы проверяете, содержит ли имя файла «.zip», вы переходите к операции по распаковке, а если false, вы продолжаете работу без распаковки. Таким образом, вы используете только один набор данных, который будет собирать все файлы, а не хранить их по отдельности. Надеюсь, это сработает и поможет вам. :)

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

01.06.2018
  • Идеально. Это именно то, о чем я думал, но я не думал об этой опции метаданных! Это, вероятно, тоже сработало бы. Огромное спасибо! 01.06.2018
  • Да, с этим вы можете повторно использовать один исходный набор данных. Без проблем. Если это было полезно, не забудьте проголосовать за ответ :) 01.06.2018

    • 2

    На данный момент вы можете использовать действия GetMetadata + Filter для разделения файлов по типам и создания для них отдельных действий копирования. Или вы можете параметризовать набор данных и передать ему метод Zip, например «ZipDeflate» или «None», в зависимости от расширения файла.

    Если мы говорим не только о нативной механике, вы можете создать настраиваемое действие .Net и создавать все, что захотите.

    05.12.2019
    Новые материалы
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    ИИ в аэрокосмической отрасли
    Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..
    Для любых предложений по сайту: [email protected]