Классифицировать текст Версия 1 (Python)

Группа "Robin AI", подгруппа "Классификатор (ROBIN)"

Описание

Действие определяет класс, к которому относится текст, на основе обученной модели классификации.

Результат действия представляет собой словарь, где ключ - название класса, а значение - процент вхождения в данный класс. Сортировка в словаре осуществляется по проценту вхождения в класс, на первом месте – класс с наибольшим процентом.

Параметры

Входные параметры

Текст для классификации          текст, класс которого необходимо определить. Язык может быть любой. Если будет язык отличный от языка обучающей выборки, то процент определения класса
                                                    будет близким к нулю.

Обученная модель                    путь к папке, которая содержит обученную модель классификации. В папке должно содержаться два файла: machine_model.pkl и tfidf_model.pk. Отсутствие
                                                    какого-то файла или изменение имени папки на другое может привести к ошибке.

Выходные параметры

Результат                                  словарь, где ключ - название класса, а значение - процент вхождения в данный класс.  Сортировка в словаре производится по проценту вхождения в класс.

Настройки

Особые условия использования 

1. Полученный в результате работы действия словарь создается с полным набором ключей – классов, которые имеются в модели классификации.
2. Если классифицирующийся текст не имеет процента вхождения в какой-либо класс, то ключ соответствующего класса в словаре будет иметь значение, равное 0.   
3. Робот не выдаст ошибку, если подан текст не на языке обученной модели, при этом % совпадения с классом будет небольшой. 
4. Существующую обученную модель нельзя "дообучать", при необходимости добавления классов необходимо заново запустить действие по обучению модели.
5. Для сведения – обученная модель на 20000 записей классифицирует текст за 2-3 минуты.

Дополнительная информация о теории классификации текста: 

https://vas3k.blog/blog/machine_learning/#klassifikatsiia

https://www.edureka.co/blog/classification-in-machine-learning/

Пример использования

Задача

Необходимо классифицировать текст на основе обученной модели и добавить наименования найденных классов и процент вхождения в данные классы в табличный документ.

Решение

Воспользоваться действием "Классифицировать текст".

Реализация

Предусловие

Для работы действия нужна обученная модель классификации, которая создается при помощи действия "Обучить модель классификации".
В папке с моделью должны содержаться два файла: machine_model.pkl и tfidf_model.pk.

1. Перетащить на рабочую область действие "Классифицировать текст". 
   
   
2. Заполнить параметры действия "Классифицировать текст". 
   1. В поле "Текст для классификации" указать следующий текст: 
      
      
   2. Указать путь к папке, которая содержит обученную модель. 
      
3. Перетащить на рабочую область действие "Получить ключи".
   
4. Заполнить параметры действия "Получить ключи".
   В поле "Словарь" добавить результат действия "Классифицировать текст".
   
5. Перетащить на рабочую область действие "Получить значения".
   
6. Заполнить параметры действия "Получить значения".
   В поле "Словарь" добавить результат действия "Классифицировать текст".
   
7. Перетащить на рабочую область действие "Открыть".
   
8. Заполнить параметры действия "Открыть".
   В поле "Путь к файлу" указать путь до имеющегося пустого файла Excel.
   
9. Перетащить на рабочую область действия "Установить значения столбца".
   
10. Заполнить параметры действий "Установить значения столбца".
    В первое действие в поле "Значение ячеек" добавить результат действия "Получить ключи" – названия классов,
    а во второе – результат действия "Получить ключи" – процент вхождения в данный класс.
    
11. Нажать на кнопку "Старт" в верхней панели.

Результат

Программный робот отработал успешно. 
В результате получен словарь с названиями классов и значениями – процентами вхождения в классы.
Полученные значения добавлены в табличный документ.