Перейти к содержимому
Puzzle RPA

Создать очередь (Dag)

image_1

Описание

Блок предназначен для создания процесса формирующего очередь из структурированных данных и последующей передачи его в оркестратор.

Описание параметров

Блок имеет несколько основных параметров:

  1. ID-очереди - уникальный идентификатор процесса, отображаемый в веб-интерфейсе оркестратора;

    Тип данных: строка

    Пример: list_of_companies

  2. Описание - краткое описание процесса для отображения в интерфейсе оркестратора;

    Тип данных: строка

    Пример: Очередь обработки данных клиентов

  3. Дата отсчета интервала - дата, с которой нужно начинать планирование запуска процесса;

    Тип данных: строка

    Пример: 01.01.2025

    Если выбрать 1 января 2025 года, то первое выполнение произойдёт в 23:59:59 того же дня.

  4. Время запуска - задаёт регулярные интервалы запуска процесса с помощью cron-выражений;

    Тип данных: строка

    Пример: */30 08-19 * * 1-5

    Проверить или составить cron-выражения можно с помощью сервиса: https://crontab.guru/. Если в блоке указать указать значение None (Ничто), то в таком случае процесс не будет запускаться по расписанию.

  5. Теги - набор меток для сортировки процессов в веб-интерфейсе. Можно указать несколько тегов для одного процесса;

    Тип данных: список строк

  6. Аргументы по умолчанию:

    • owner - владелец процесса;

      Тип данных: строка

      Пример: Puzzle RPA

    • depends_on_past - стоит ли инициировать запуск следующего процесса, если предыдущий процесс в цепочке операций завершился с ошибкой;

      Тип данных: логический (boolean)

      Пример: Истина

    • email - список адресов электронной почты, для уведомлений о статусе выполнения;

      Тип данных: список строк

    • email_on_failure - нужно ли отправлять уведомления на адрес электронной почты в случае неудачного выполнения;

      Тип данных: логический (boolean)

      Пример: Истина

    • retries - количество попыток повторного выполнения в случае неудачи;

      Тип данных: число

      Пример: 3

    • retry_delay - время задержки между повторными попытками;

      Тип данных: число

      Пример: 30

    • pool - параметр для управления очередями между различными процессами оркестратора.

      Тип данных: строка

      Пример: default_pool

  7. Использовать подключение - ID подключения к удаленной машине (настройка доступна в разделе Connections оркестратора Airflow);

    Создание нового подключения Создание нового подключения в оркестраторе Airflow. Подробнее...

  8. Данные для очереди (Путь к файлу) - путь к файлу в формате CSV, содержащему данные для формирования очереди.

Пример использования

В данном примере создается процесс для оркестратора:

  • Автоматическая очистка очереди:
    При создании очереди автоматически формируется дополнительный процесс с именем clean_data + ID-очереди для очистки очереди.
  • Используемое подключение:
    Процесс запускается с использованием подключения с ID SSH_121. Указанное подключение должно существовать в оркестраторе Создание нового подключения.
image_2

  • Пример файла с данными для наполнения очереди:

Результат

После загрузки созданного процесса в оркестратор, в интерфейсе оркестратора появится информация о созданной очереди и связанном процессе очистки.

image_3