WedX - журнал о программировании и компьютерных науках

Читать в лазурном BLOB-объекте с помощью Python

Я хочу прочитать файл Excel, хранящийся в хранилище BLOB-объектов Azure, во фрейм данных Python. Какой метод я бы использовал?



Ответы:


1

Существует функция с именем read_excel в пакете pandas, в котором вы можете передать URL-адрес онлайн-файла Excel в функцию для получения фрейма данных таблицы Excel, как показано на рисунке ниже.

введите здесь описание изображения

Итак, вам просто нужно сгенерировать URL-адрес большого двоичного объекта Excel с токеном sas, а затем передать его функции.

Вот мой пример кода. Примечание: требуется установить пакеты Python azure-storage, pandas и xlrd.

# Generate a url of excel blob with sas token
from azure.storage.blob.baseblobservice import BaseBlobService
from azure.storage.blob import BlobPermissions
from datetime import datetime, timedelta

account_name = '<your storage account name>'
account_key = '<your storage key>'
container_name = '<your container name>'
blob_name = '<your excel blob>'

blob_service = BaseBlobService(
    account_name=account_name,
    account_key=account_key
)

sas_token = blob_service.generate_blob_shared_access_signature(container_name, blob_name, permission=BlobPermissions.READ, expiry=datetime.utcnow() + timedelta(hours=1))
blob_url_with_sas = blob_service.make_blob_url(container_name, blob_name, sas_token=sas_token)

# pass the blob url with sas to function `read_excel`
import pandas as pd
df = pd.read_excel(blob_url_with_sas)
print(df)

Я использовал свой образец файла Excel для тестирования приведенного ниже кода, он отлично работает.

Рис. 1. Мой пример файла Excel testing.xlsx в моем test контейнере хранилища BLOB-объектов Azure.

введите здесь описание изображения

Рис. 2. Содержимое моего примера файла Excel testing.xlsx

введите здесь описание изображения

Рис. 3. Результат моего примера кода Python для чтения блоба Excel.

введите здесь описание изображения

14.11.2019
  • Это дает ошибку http 400 при попытке получить капли из вложенных файлов (например, он отлично работает с папкой / файлом, но не с папкой / папкой / файлом), вы знаете, как это исправить? 21.11.2019
  • @dragonfromdreamsd Создайте новую тему SO, чтобы опубликовать подробную информацию о вашей проблеме, и тогда я помогу вам. 21.11.2019
  • нет такого модуля: from azure.storage.blob.baseblobservice import BaseBlobService 24.03.2021
  • @mas. Проверьте версию пакета SDK службы хранилища Azure: старую v2 или новую v12. 25.03.2021
  • спасибо Петру, второе решение в этом посте сработало для меня. ссылка 26.03.2021
  • Новые материалы

    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..


    Для любых предложений по сайту: [email protected]