Я использовал библиотеку полки python для предварительного хранения списка пар ключ-вектор. Всего 3 миллиона записей, что занимает 6 ГБ памяти. В отдельном учебном файле мне нужно проверить каждую запись, является ли она ключом в словаре полки. Это делает мою программу очень медленной. Есть ли быстрый способ проверить, существует ли ключ на полке? Или есть другие эффективные способы хранения пар ключ-вектор в python, чтобы можно было эффективно проверить, существует ли ключ?
самый быстрый способ проверить, существует ли ключ на полке
09.03.2015
- Лучший способ сделать это — перейти к более эффективному хранилищу k/v (например, Redis) или, возможно, даже к базе данных (в зависимости от того, что вы хотите сделать). 09.03.2015
Ответы:
1
Используйте sqlite3 вместо откладывания, и вы сможете запрашивать что-то помимо простого запроса произвольного ключа. . Также обратите внимание, что shelve не дает никаких обещаний о том, что такую базу данных можно будет использовать на любой другой версии Python или платформе или чем-то подобном.
Еще лучше использовать sqlite3 и хранить все ключи отдельно (с уникальными) и ссылаться на них по внешнему ключу из векторной таблицы; вы можете сканировать и хранить список ключей в памяти как set (нужно сказать только ~ 40 МБ + 3 М * средний размер ключа в ОЗУ).
09.03.2015
Новые материалы
Как проанализировать работу вашего классификатора?
Не всегда просто знать, какие показатели использовать
С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
Работа с цепями Маркова, часть 4 (Машинное обучение)
Нелинейные цепи Маркова с агрегатором и их приложения (arXiv)
Автор : Бар Лайт
Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
Как вы сегодня, ребята?
В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение.
В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
Учебные заметки: создание моего первого пакета Node.js
Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm.
Оглавление
Глоссарий
I. Новый пакет
1.1 советы по инициализации..
Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных.
Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
ИИ в аэрокосмической отрасли
Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..