Обучить модель классификации

Обучить модель классификации Версия 1 (Python)

Группа "Robin AI", подгруппа "Классификатор (ROBIN)"

Описание

Данное действие обучает модель классификации текста.

Задача классификации - определение типа объекта из двух или более существующих классов.
В зависимости от задачи классификации подбираются подходящие типы классификаторов.
Более подробно о методах классификации можно посмотреть здесь: Обзор методов классификации в машинном обучении с помощью Scikit-Learn (tproger.ru)

Иконка действия

Параметры

Входные параметры

Данные для обучения Путь к папке с данными для обучения модели классификации.
Внутри папки содержатся подпапки с классами, названия которых – это название класса. Внутри каждой подпапки должны быть файлы формата .txt.
с различными текстами, которые соответствуют классу. Форматы текстов создаются Пользователем.

Папка с результатом Путь к папке, в которую будет сохранена обученная модель классификации.
В указанной папке в результате работы действия должно быть создано 2 файла: machine_model.pkl – модель машинного обучения и tfidf_model.pk – сохранение
словаря, токены.

Метод Метод, который будет использоваться для обучения модели классификации.
Значение по умолчанию – RandomForest. Методы базируются на различных алгоритмах классификации.
Параметр содержит следующие методы:

Выбрать наиболее подходящий
SVC (Support Vector Machines) – метод опорных векторов
RandomForest – метод случайного леса
GradientBoosting – градиентный бустинг
AdaBoost (Adaptive Boosting) – адаптивный бустинг
DecisionTree (Decision Tree Classifier) – классификатор дерева решений
KNeighboors (K-Nearest Neighbors) – метод k-ближайших соседей
Naive Bayes – наивный байесовский метод

Перезаписать Если значение параметра "true", и в папке с результатом уже существует файл с таким же именем и расширением, то он будет перезаписан.
Если значение параметра"false", файл перезаписан не будет, и действие выдаст ошибку. Файлы machine_model.pcl and tiff_model.pk должны быть
уникальны в указанной папке.

Стоп-слова Путь к txt-файлу, который содержит стоп-слова, которые не будут учитываться при обучении модели классификации.
Каждое стоп-слово должно быть записано на новой строке. Слова, несущие мало смысла для классификации, но часто встречающиеся, например,
в письмах: Доброе утро!, Добрый день!, С уважением, tel:, email:.

Словосочетания Путь к txt-файлу, содержащему словосочетания, которые при обучении модели важно не разделять на отдельные слова для сохранения смысла всей фразы.
Каждое словосочетание должно быть записано на новой строке. Словосочетания нужны для указания важности фразы целиком, без разделения по словам.
Например: юридическое лицо, операция по чеку, чек по операции, срочный вопрос, группа компаний, стратегия развития.

Выходные параметры

Результат Результат показывает процент точности обученной модели, полученный путем сравнения тестовой и тренировочной выборки в процентном соотношении.

Настройки

Свойство	Описание	Тип	Пример заполнения	Обязательность заполнения поля
Параметры
Данные для обучения	Путь к папке с данными для обучения модели классификации. Внутри папки содержатся подпапки, названия которых – это название класса. Внутри каждой подпапки должны быть txt-файлы с различными текстами, которые соответствуют классу	Путь к папке	C:\Users\123\OneDrive\Рабочий стол\Папка с текстами	Да
Папка с результатом	Путь к папке, в которую будет сохранена обученная модель классификации	Путь к папке	C:\Users\123\OneDrive\Рабочий стол\Индексация	Да
Метод	Метод, который будет использоваться для обучения модели классификации. Значение по умолчанию – RandomForest	Строка	AdaBoost	Да
Перезаписать	Если значение «true», и в папке с результатом уже существует файл с таким же именем и расширением, то он будет перезаписан. Если «false», файл перезаписан не будет, и действие вернет ошибку	Логический	true	Нет
Стоп-слова	Путь к txt-файлу, который содержит стоп-слова, которые не будут учитываться при обучении модели классификации. Каждое стоп-слово должно быть записано на новой строке	Путь к файлу	C:\Users\123\OneDrive\Рабочий стол\Стоп-слова.txt	Нет
Словосочетания	Путь к txt-файлу, содержащему словосочетания, которые при обучении модели важно не разделять на отдельные слова для сохранения смысла всей фразы. Каждое словосочетание должно быть записано на новой строке	Путь к файлу	C:\Users\123\OneDrive\Рабочий стол\Словосочетания.txt	Нет
Результаты
Результат	Процент точности обученной модели	Число

Особые условия использования

Особых условий нет.

Пример использования

Задача

Имеется исходная папка "result":

В папке расположены подпапки-классы для обучения классификатора:

В каждой папке расположены txt-файлы с различными текстами, которые соответствуют классу:

Также имеются текстовые файлы со стоп-словами

и со словосочетаниями

Необходимо обучить модель классификации на имеющихся данных, сохранить обученную модель классификации в папку "Модель классификации"
и вывести процент точности обученной модели в переменной "Результат" через диалоговое окно.

Решение

Воспользоваться действиями "Обучить модель классификации" и "Сообщение".

Реализация

Создать переменную "Результат" с типом "Число".
Перетащить на рабочую область действие "Обучить модель классификации".
Заполнить параметры действия "Обучить модель классификации".
Добавить в соответствующие поля параметров пути к папкам и файлам и выбрать метод.
В результат добавить переменную "Результат":
Перетащить на рабочую область действие "Сообщение".
Заполнить параметры действия "Сообщение".
Нажать на кнопку "Старт" в верхней панели.