Перейти к содержимому
Puzzle RPA

Обучить модель регрессии

image_1

Описание

Блок позволяет обучить модель регрессии для предсказания значений на основе входных данных.

Параметры модели

Блок имеет несколько выпадающих списков:

  • Выполнить обучение:
    • Локально - Обучение модели выполняется на компьютере пользователя;
    • Удаленно - Обучение модели выполняется на удаленном компьютере (требуется установка дополнительного серверного компонента на используемый сервер).
  • Алгоритм:
    • LinearRegression - Основан на предположении, что существует линейная зависимость между входными переменными (факторами) и целевой переменной (результатом).
  • Векторизация:
    • TfidfVectorizer - преобразует текстовые документы в числовые векторы, основанные на методе TF-IDF (Term Frequency-Inverse Document Frequency). Он вычисляет важность каждого слова в документе относительно всего корпуса, учитывая как частоту его появления (TF), так и редкость в других документах (IDF);
    • Word2Vec - позволяет преобразовать слова из корпуса текстов в векторы чисел таким образом, что слова с похожими семантическими значениями имеют близкие векторные представления в многомерном пространстве.

Параметры обучаемой модели

Блок имеет следующие параметры для обучаемой модели:

  • Размер тестовой части (%) - Процент выборки тестовых данных из исходного массива данных;
  • Использовать аугментацию данных - Чекбокс увеличения объема обучающего набора данных путем применения различных трансформаций к исходным данным:
    • Количество уникальных аугментированных копий - Количество уникальных аугментированных копий для каждой строки;
    • Доля случайных замен (%) - Доля случайных замен в тексте;
    • Вероятность заменить русскую букву на похожую английскую (%) - Вероятность заменить русскую букву на похожую английскую в тексте;
  • Регулярное выражение для извлечения токенов (регулярное выражение) - Параметр позволяет определить, как именно будут извлекаться токены (слова или фразы) из текстовых данных (пример: (?u)\\b\\w\\w+\\b - все слова в тексте, которые содержат два или более символов с учетом границ слов, используя Unicode для поддержки различных языков);
  • Использовать группы Токенов/Слов/Символов (при использовании TfidfVectorizer) - Определяет, как будет производиться анализ текстовых данных для извлечения признаков;
    • Минимальная последовательность - определяет минимальное количество n-грамм, которые будут извлечены из текстовых данных;
    • Максимальная последовательность - определяет максимальное количество n-грамм, которые будут извлечены из текстовых данных.

Выбор данных для обучения

Для обучения модели необходимо указать:

  • Данные для обучения - Данные для обучения модели;
  • Использовать колонки - Список колонок с данными для обучения;
  • Название целевой колонки - Название колонки, содержащей категории, соответствующие обучающим данным.

Выбор места обучения

Для локального обучения:

  • Путь сохранения модели - Путь файла с моделью, которая будет сохранена после обучения.

Для обучения на сервере:

  • Адрес базы данных SQL - Адрес базы данных, в которой хранятся обученные модели;
  • Адрес удаленного сервера - Адрес удаленного сервера для обучения;
  • Сохранить результат обучения в - Путь до файла JSON, в который будет сохранена информация о обученной модели.

Используемые метрики

При обучении используются метрики:

  • Средняя квадратическая ошибка (mean_squared_error) - метрика, измеряющая среднеквадратичную ошибку.

Информация о модели

Блок возвращает список, содержащий два DataFrame.

  1. Информация о созданной модели:
    • task_id (*При обучении на сервере) - ID модели на сервере;
    • model - Информация о модели: Алгоритм и выбранные параметры для него;
    • metric_name и metric_value - Метрики и их значения;
    • Информация о нагрузке на систему - Нагрузка на центральный процессор, загрузка оперативной памяти, время обучения.
  2. Результат использования модели на тестовых данных:
    • Тестовые данные;
    • Результат регрессивного анализа данных;

Пример использования

В данном примере блок выполняет обучение модели регрессии.

  1. Формируется обучающая выборка для модели регрессии;

    image_2

  2. Выполняется обучение:

    В данном примере блок выполняет локальное обучение модели регрессии:

    image_3

    Созданная модель сохраняется в файл regression_model, путь до которого указывается в поле “Путь сохранения модели”.

  3. Информация о модели сохраняется в Excel - Файл:

    Лист1 - Информация о созданной модели:

    • task_id (*При обучении на сервере) - ID модели на сервере;
    • model - Информация о модели: Алгоритм и выбранные параметры для него;
    • metric_name и metric_value - Метрики и их значения;
    • Информация о нагрузке на систему - Нагрузка на центральный процессор, загрузка оперативной памяти, время обучения.

    Лист2 - Результат использования модели на тестовых данных:

    • Тестовые данные;
    • Результат классификации;
    • Вероятности вхождения в каждый существующий класс.

Результат

Лист1 - Информация о созданной модели, метрики и данные о нагрузке на систему:

image_5

Лист2 - Результат использования модели на тестовых данных:

image_6

Сохраненный файл с моделью:

image_7