WedX - журнал о программировании и компьютерных науках

Как мы можем профилировать использование памяти каждой задачей Celery?

Я запускаю тесты с помощью pytest, который, в свою очередь, запускает пару задач сельдерея. Но, когда я использую

mprof run --include-children py.test test.py

Я не могу отслеживать память, потребляемую каждой задачей сельдерея, которая выполняется внутри работника сельдерея. Все, что я мог видеть, 50 МБ ОЗУ потребляется процессом py.test (что я могу видеть на графике mprof), тогда как рабочий сельдерей потребляет около 600-700 МБ ОЗУ, что не отражается на графике mprof. Как я могу построить график потребления памяти каждой задачей Celery, запускаемой py.test?

PS Я использую пакет профилировщика памяти для профилирования потребления памяти скриптом Python.

python pytest celery memory-profiling
21.05.2020

  • Я предполагаю, что вы будете порождать некоторые задачи сельдерея из своего pytest, и поэтому они проходят через AMQP и в другое пространство процесса? Если это так, создатель задачи (pytest) не будет предоставлять профиль памяти для потребителя задачи (сельдерей) 30.05.2021

Ответы:


1

А как насчет флага --multiprocess? https://github.com/pythonprofilers/memory_profiler#tracking-forked-child-processes

19.06.2020
  • Даже когда вы используете флаг multidprocess, вы можете видеть только графики различных запущенных дочерних процессов, но вы не можете видеть, сколько памяти потребляет каждая из именованных задач, прикрепленных к рабочему celery. 20.06.2020
    • Новые материалы
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    ИИ в аэрокосмической отрасли
    Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..
    Для любых предложений по сайту: [email protected]