WedX - журнал о программировании и компьютерных науках

Сервер возвращает данные со странной кодировкой/сжатием

Я запрашиваю данные с сайта, который, похоже, возвращает данные в кодировке base64. Ответ выглядит так:

b'LExRPzI+NlFpUXw2Mj9RW1E1MkUyUWksTFFJUWlgZGdkZ19mYmdnX19fW1FKUWlgXWRbUTUyRTJ7MjM2PURRaUxRSVFpaE5OW0xRSVFpYGRnZGhgYmhjZ19fX1tRSlFpYF1jY19kYk5bTFFJUWlgZGdkaGBmYmVnX19fW1FKUWlgXWNOW0xRSVFpYGRnZGhmaGNlZF9fX1tRSlFpYF1jY19kYk5bTFFJUWlgZGdlX2RjZGFjX19fW1FKUWlgXWNhX2BmW1E1MkUyezIzNj1EUWlMUUlRaVxoTk4uTi4='

Но простое использование base64.decode в этой последовательности байтов не дает никаких значимых данных, поэтому должен быть какой-то другой шаг в преобразовании этих данных.

Вот заголовки этого запроса:

Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html; charset=UTF-8
Date: Mon, 13 Apr 2020 17:48:49 GMT
Server: nginx/1.14.0 (Ubuntu)
Transfer-Encoding: chunked

Это запрос GET к этому URL https://www.bestfightodds.com/api?f=ggd&m=20222&p=2
Кажется, что это может сработать,

data = zlib.decompress(base64.b64decode(r.content))

Но любая декомпрессия всегда приводит к zlib.error: Error -3 while decompressing data: incorrect header check

python base64 gzip zlib
13.04.2020

  • Я думаю, что это должно пойти наоборот. Вы распаковываете байты, а не base64 их декодирует. Кстати, как вы оказались в этой ситуации? Если вы используете запросы, они обрабатывают gzip для тебя 13.04.2020
  • Противоположное по-прежнему дает ту же ошибку о заголовках. Я использую запросы, но ответ выглядит точно так же, как приведенная выше строка байтов, вы можете открыть ссылку для себя и посмотреть. 13.04.2020
  • Если вы используете запросы, вам не нужно беспокоиться о gzip. Да, я вижу, что данные выглядят как base64, и я получил тот же результат, что и вы. Может быть зашифровано как-то иначе. Я полагаю, у вас нет документов для этого? 13.04.2020
  • Нет документации. 13.04.2020

Ответы:


1

Явно не сжатый. После декодирования с помощью Base64 данные сильно повторяются.

25.04.2020
  • Вы получили от этого что-то значимое? Предполагается, что данные представляют собой временной ряд коэффициентов ставок. Для меня это уже не имеет значения, но если я расшифрую это, я просто получу чушь ,LQ?2›6QiQ|62?Q[Q52E2Qi,LQIQidgdg_fbgg___[QJQi]d[Q52E2{236=DQiLQIQihNN[LQIQidgdhbhcg___[QJQi]cc_dbN[LQIQidgdhfbeg___[QJQi]cN[LQIQidgdhfhced___[QJQi]cc_dbN [LQIQidge_dcdac___[QJQi]ca_`f[Q52E2{236=DQiLQIQi\hNN.N. 27.04.2020
    • Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: [email protected]