Я новичок в формате файлов HDF5 и успешно экспериментировал в Python с h5py. Теперь пришло время хранить реальные данные.
Мне нужно будет сохранить список объектов, где каждый объект может быть одного из нескольких типов, и каждый тип будет иметь ряд массивов и строк. Критическая часть заключается в том, что список объектов будет разным для каждого файла, а файлов будут сотни. Есть ли способ автоматически экспортировать произвольный вложенный объект в (и обратно) файл HDF5? Я представляю процедуру, которая автоматически охватила бы иерархию вложенного объекта и построила бы такую же иерархию в файле HDF5. Я прочитал документ H5PY и не вижу никаких связующих процедур. Кроме того, поиски в Google и SO (как ни странно) не показывают эту возможность. Я что-то упустил или есть другой способ взглянуть на это.
HDF5 и Python: автоматический экспорт объекта
12.02.2017
- Вам придется привести более конкретный пример. Ваше описание не соответствует моему ограниченному опыту работы с
h5py. Этот интерфейс обрабатывает массивыnumpy, особенно числовые и строковые типы данных. Также он может обрабатывать структурированные массивы. Я не могу сохранитьobjectмассивы dtype. Он вообще не взаимодействует с объектами Python.np.saveсpicklingможет хранить более широкий набор объектов Python. 12.02.2017 - Спасибо за ответ. У меня будет
dictэлементов, каждый из которых содержитclass(структуру) изndarrays,floatsиstrings. Я думал, что подпрограмма Python может сканировать вложенный объект (дерево) сверху (корня) и следовать иерархии к каждому примитиву данных (каждому листу). 12.02.2017 - stackoverflow.com/questions/41173254/ исследует, как
pytablesхранит кадр данныхpandasвhdf5и как он выглядит черезh5py. Это самая сложная структура, которую я видел вh5py. 12.02.2017 - Вы экспериментировали с использованием
pickleс этим объектом? 12.02.2017 - @hpaulj: Пока нет. Я искал двоичный экспорт для больших ndarrays и предположил, что
pickleне является правильным подходом. 14.02.2017 - @hpaulj: Спасибо за
pandas. Я посмотрю на это. 14.02.2017
Новые материалы
Как создать диаграмму градиентной кисти с помощью D3.js
Резюме:
Из этого туториала Вы узнаете, как добавить градиентную кисть к диаграмме с областями в D3.js. Мы добавим градиент к значениям SVG и применим градиент в качестве заливки к диаграмме с..
Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что это выглядит сложно…
Просто начните и учитесь самостоятельно
Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что он кажется мне сложным, и я бросил его. Это в основном инструмент..
Лицензии с открытым исходным кодом: руководство для разработчиков и создателей
В динамичном мире разработки программного обеспечения открытый исходный код стал мощной парадигмой, способствующей сотрудничеству, инновациям и прогрессу, движимому сообществом. В основе..
Объяснение документов 02: BERT
BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка.
Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..