WedX - журнал о программировании и компьютерных науках

json.dump в файл gzip в python 3

Я пытаюсь записать объект в сжатый файл json за один шаг (минимизация кода и, возможно, экономия памяти). Моя первоначальная идея (python3) была такой:

import gzip, json
with gzip.open("/tmp/test.gz", mode="wb") as f:
  json.dump({"a": 1}, f)

Однако это не удается: TypeError: 'str' does not support the buffer interface, что, я думаю, связано с тем, что строка не кодируется в байты. Так каков правильный способ сделать это?

Текущее решение, которое меня не устраивает:

Открытие файла в текстовом режиме решает проблему:

import gzip, json
with gzip.open("/tmp/test.gz", mode="wt") as f:
  json.dump({"a": 1}, f)

однако мне не нравится текстовый режим. На мой взгляд (и, возможно, это неправильно, но поддерживается это), текстовый режим используется для исправления концов строк. Это не должно быть проблемой, потому что у json нет окончаний строк, но мне не нравится, что он (возможно) возится с моими байтами, он (возможно) медленнее, потому что ищет окончания строк для исправления, и (худшее из всех) я не понимаю, почему что-то в окончаниях строк исправляет мои проблемы с кодировкой?

18.05.2015

  • На самом деле я только что понял, что gzip-часть не имеет ко всему этому никакого отношения, я должен переписать вопрос 18.05.2015

Ответы:


1

оффтоп: я должен был погрузиться в документацию немного глубже, чем изначально.

документы Python показывают:

Обычно файлы открываются в текстовом режиме, то есть вы читаете и записываете строки из файла и в него, закодированные в определенной кодировке (по умолчанию UTF-8). 'b', добавленный к режиму, открывает файл в бинарном режиме: теперь данные считываются и записываются в виде байтовых объектов. Этот режим следует использовать для всех файлов, не содержащих текста.

Я не полностью согласен с тем, что результатом кодирования json является строка (я думаю, что это должен быть набор байтов, поскольку он явно определяет, что он использует кодировку utf-8), но я заметил это раньше. Так что я предполагаю, что это текстовый режим.

18.05.2015
  • Этот stackoverflow.com/a/49535758/1335793 цитирует документы Модуль json всегда создает str объекты, а не bytes объекты. Я думаю, что этот ответ хорошо объясняет это stackoverflow.com/questions/39450065/ json.dump действительно делает две вещи: сериализует ваш объект dict в строку, а затем записывает его в файл с кодировкой (аналогично file.write() ) 28.11.2018
  • Модуль JSON либо сериализует объект в строку/файл (дампы/дамп), либо десериализует объект в строку/файл (загружает/загружает), а JSON представляет собой текстовое представление данных, предназначенное для хранения или передачи в виде текст, так что это имеет смысл. 28.11.2018
  • Новые материалы

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..

    ИИ в аэрокосмической отрасли
    Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..


    Для любых предложений по сайту: [email protected]