История страницы

Классифицировать текст Версия 1 (

...

Python)

Группа "Robin AI", подгруппа "Классификатор (ROBIN)"

...

Описание

Действие определяет класс, к которому относится текст, на основе обученной модели классификации.

Результат действия представляет собой словарь, где ключ - название класса, а значение - процент вхождения в данный класс. Сортировка  
Сортировка в словаре осуществляется по проценту вхождения в класс, на на первом месте – класс с наибольшим процентом.

Иконка действия

Image Modified

Параметры

...

и их настройка

Входные параметры

Текст для классификации          текст, класс которого необходимо определить. Язык может быть любой. Если будет язык отличный от языка обучающей выборки, то процент определения класса будет близким к нулю.

Обученная модель                    путь к папке, которая содержит обученную модель классификации. В папке должно содержаться два файла: machine_model.pkl и tfidf_model.pk. Отсутствие какого-то файла или изменение имени папки на другое может привести к ошибке.

Выходные параметры

Результат                                 словарь, где ключ - название класса, а значение - процент вхождения в данный класс.  Сортировка в словаре производится по проценту вхождения в класс.

Настройки

Особые условия использования 

1. Полученный в результате работы действия словарь создается с полным набором ключей – классов, которые имеются в модели классификации.
2. Если классифицирующийся текст не имеет процента вхождения в какой-либо класс, то ключ соответствующего класса в словаре будет иметь значение, равное 0.   
3. Робот не выдаст ошибку, если подан текст не на языке обученной модели, при этом % совпадения с классом будет небольшой. 
4. Существующую обученную модель нельзя "дообучать", при необходимости добавления классов необходимо заново запустить действие по обучению модели.
5. Для сведения – обученная модель на 20000 записей классифицирует текст за 2-3 минуты.

Дополнительная информация о теории классификации текста: 

https://vas3k.blog/blog/machine_learning/#klassifikatsiia

...

Пример использования

Задача

Необходимо классифицировать текст на основе обученной модели и добавить наименования найденных классов и процент вхождения в данные классы в табличный документ.

Решение

Воспользоваться действием "Классифицировать текст".

...

1. Перетащить на рабочую область действие "Классифицировать текст". 
   
   
2. Заполнить параметры действия "Классифицировать текст". 
   1. В поле "Текст для классификации" указать следующий текст: 
      
      
   2. Указать путь к папке, которая содержит обученную модель. 
      
3. Перетащить на рабочую область действие "Получить ключи".
   
4. Заполнить параметры действия "Получить ключи".
   В поле "Словарь" добавить результат действия "Классифицировать текст".
   
5. Перетащить на рабочую область действие "Получить значения".
   
6. Заполнить параметры действия "Получить значения".
   В поле "Словарь" добавить результат действия "Классифицировать текст".
   
7. Перетащить на рабочую область действие "Открыть".
   
8. Заполнить параметры действия "Открыть".
   В поле "Путь к файлу" указать путь до имеющегося пустого файла Excel.
   
9. Перетащить на рабочую область действия "Установить значения столбца".
   
10. Заполнить параметры действий "Установить значения столбца".
    В первое действие в поле "Значение ячеек" добавить результат действия "Получить ключи" – названия классов,
    а во второе – результат действия "Получить ключи" – процент вхождения в данный класс.
    
11. Нажать на кнопку "Старт" в верхней панели.

...

Программный робот отработал успешно. 
В результате получен словарь с названиями классов и значениями – процентами вхождения в классы.
Полученные значения добавлены в табличный документ.