Я пытаюсь использовать apache-airflow
и хочу изучить Docker
для запуска задачи в контейнере.
Моя текущая установка воздушного потока находится в выделенном виртуальном пространстве, и воздушный поток автоматически перезапускается с помощью systemd.
У меня уже есть несколько проектов, которыми я хочу заняться Airflow. У каждого проекта должен быть свой даг. Я хотел бы, чтобы dag проекта был написан с помощью PythonOperator
и запускался внутри контейнера докеров с изображением, которое я ранее создал со всеми правильными зависимостями.
Это может гарантировать изоляцию зависимостей кода между каждым проектом.
Это как-то достижимо?