Управление очередями запуска
Pools — это механизм ограничения параллельного выполнения задач, позволяющий контролировать, сколько задач (из одного или нескольких DAG’ов) могут выполняться одновременно.
Рекомендации
Если программные роботы взаимодействуют с десктопными приложениями или браузером в видимом (GUI) режиме, рекомендуется запускать их через выделенную очередь с ограничением на количество одновременно выполняемых задач. Это предотвращает конфликты и перегрузку графической сессии.
Создание очереди
Для создания новой очереди требуется:
- Открыть раздел пользовательского интерфейса оркестратора Airflow;
- Перейти в раздел Pools:
- Кликнуть на кнопку Add a new record:
- Указать:
- Pool - название очереди;
Тип данных:
str (Строка)Пример:
default_pool - Slots - количество одновременно запускаемых задач;
Тип данных:
int (Целое число)Пример:
1 - Description - описание очереди;
Тип данных:
str (Строка)Пример:
Очередь для запуска роботов
- Pool - название очереди;
- Кликнуть на кнопку Save для сохранения созданной записи.
Использование очереди
Чтобы использовать созданную очередь, укажите её название в соответствующем поле блока Создать процесс (Dag).