Классифицировать текст (PREFERENTUM)

Классифицировать текст Версия 1 (net)

Группа "Robin AI", подгруппа "Классификатор (Preferentum)"

Описание

Действие классифицирует текст в соответствии с заданными индексами и определяет его класс

Иконка действия

Параметры

Входные параметры

Контекст                                                             Мспользует результат действия "Открыть классификатор", которое включает в себя путь до папки с классификатором.

Текст                                                                   Строковое значение, которое необходимо классифицировать.

Многоклассовая классификация                     Используется для выбора, какое количество классов будет получено в результате. Если значение "false", то для текста будет определяться
                                                                           класс с наибольшим процентом вероятности. Если "true", то будут определятся несколько классов, к которым может относиться текст.

Порог уверенности                                           Позволяет установить разницу между первыми двумя рубриками (тематиками), при которой система сможет уверенно отнести текст к единственной
                                                                           рубрике.
                                                                                    Параметр учитывается, если "Многоклассовая классификация" = false, иначе параметр игнорируется. 

                                                                                    Если процент вхождения ≥ порога уверенности, то "Уверенный результат" =  true

                                                                                    Если процент вхождения < порога уверенности, то "Уверенный результат" =  false

Количество классов                                          Максимальное количество классов, которое будет выведено в результирующий словарь.

                                                                                    Параметр учитывается, если "Многоклассовая классификация" = true, иначе параметр игнорируется. 

                                                                                    Если в результирующей выборке в словаре классов больше, чем в "Количество классов", то выводится количество классов, указанное в
                                                                                    параметре

                                                                                    Если в результирующей выборке в словаре классов меньше, чем в "Количество классов", то выводится столько классов, сколько было получено

Выходные параметры

Классы                                                               Словарь с результирующей выборкой классов, где ключ - класс, а значение - процент вероятности, т.е. ранг класса
                                                                           (отображается в том же виде, что и в классификаторе).

Уверенный результат:                                    Если "Многоклассовая классификация" = false и "Порог уверенности" не заполнен, то "Уверенный результат" = false

                                                                           Если "Многоклассовая классификация" = true, то "Уверенный результат" = false

Настройки

Описание работы классификатора

Руководство по использованию системы классификации Preferentum - https://preferentum.ru/wp-content/uploads/2022/04/preferentumclass_manual.pdf.

Класс в классификаторе указан как "Рубрика", а вероятность вхождения в класс указана как "Ранг".

• Алгоритм, когда "Многоклассовая классификация" = false:

Система классифицирует текст в возможные рубрики и вычисляет ранг для каждой рубрики. Сравниваются две рубрики с наибольшим классом по формуле: X*100/Y, где x - ранг первой рубрики, y - ранг второй рубрики. Полученное число сравнивается со значением параметра "Порог уверенности". Если полученное число больше или равно, то результат считается уверенным. В таком случае параметр "Уверенный результат" = true. Если полученное число меньше, то результат считается неуверенным, т.к. возможно, что наиболее вероятная рубрика определенна не точно. В таком случае параметр "Уверенный результат" = false. В обоих случаях действие возвращает словарь с одной рубрикой (которая имеет самый высокий ранг).

• Алгоритм, когда "Многоклассовая классификация" = true:

Система классифицирует текст в возможные рубрики и вычисляет ранг для каждой рубрики. Все соседние рубрики сравниваются между собой по формуле: X/Y, где x - первый ранг, y - последующий ранг. Наибольшее число, полученное при сравнении, определяет какие рубрики не будут входить в результирующий словарь. Действие возвращает словарь с рубриками, которые находились выше по списку рубрики с наибольшим числом сравнения. Рубрика с наибольшим числом сравнения тоже входит в результирующий словарь.

Особые условия использования 

1. Если параметр "Многоклассовая классификация" = false и текст классифицировался в классы с одинаковым процентом вероятности, то действие завершится ошибкой.

2. Если параметр "Многоклассовая классификация" = true, "Количество классов" - указано несколько классов, а текст классифицировался в классы с одинаковым процентом вероятности, то действие завершится ошибкой. 
   (Пример: "Количество классов" = 2. Текст классифицировался в три класса, два с одинаковым процентом вероятности = 50, а третий классифицировался с процентом вероятности = 80, действие завершится ошибкой.)

3. Если текст не классифицировался ни в один класс или у классификатора не имеется классов, то действие завершится ошибкой.

Пример использования

Задача 1

Классифицировать текст на основе обученной модели с определением класса с наибольшим процентом вероятности

Решение

Воспользоваться действием "Классифицировать текст". 

Реализация

Предусловие

Для работы действия "Открыть классификатор" необходима обученная модель классификатора. 
Обучение осуществляется при помощи действия "Создать индекс".

1. Перенести действие "Открыть классификатор" на рабочую область.

   

2. Заполнить параметры действия "Открыть классификатор".

   Указать путь к папке, которая содержит обученную модель. 

   

3. Перенести действие "Классифицировать текст" на рабочую область. 

   

4. Заполнить параметры действия "Классифицировать текст". 

   1. Указать контекст, полученный в действии "Открыть классификатор"

   2. Установить значение в поле "Порог уверенности"

      

   3. В поле "Текст" указать следующий текст: 

      

4. Нажать на кнопку "Старт" в верхней панели.  

Результат

Программный робот отработал успешно.

Получен словарь с классом, имеющим наибольший процент вероятности, к которому может относиться указанный текст,

а также подтверждение, что результат классификации достаточно точен ( параметр "Уверенный результат"/"Confident Result" - True).

Задача 2

Классифицировать текст на основе обученной модели для определения классов, к которым может относиться текст

Решение

Воспользоваться действием "Классифицировать текст". 

Реализация

Предусловие

Для работы действия "Открыть классификатор" необходима обученная модель классификатора. 
Обучение осуществляется при помощи действия "Создать индекс".

1. Повторить шаги 1-3 из Задачи 1
2. Заполнить параметры действия "Классифицировать текст". 
   1. Указать контекст, полученный в действии "Открыть классификатор"
   2. Установить чекбокс "Многоклассовая классификация"
   3. Добавить данные в поле "Количество классов"
      
   4. В поле "Текст" указать следующий текст: 
      
      

3. Нажать на кнопку "Старт" в верхней панели.  

Результат

Программный робот отработал успешно.

Получен словарь с классами, к которым может относиться указанный текст, при этом параметр "Уверенный результат"/"Confident Result" - False.

Задача 3

Получить результаты действия "Классифицировать текст"

Решение

Воспользоваться действиями "Получить ключи", "Получить значение по индексу" и "Получить значение".

Реализация

1. Повторить шаги 1-3 из Задачи 2
2. Перенести действие "Получить ключи" на рабочую область. 
   
3. Заполнить параметр "Словарь" действия "Получить ключи" 
   
4. Перенести действие "Получить значение по индексу" на рабочую область. 
   
5. Заполнить параметры действия "Получить значение по индексу" 
   1. Установить результат действия "Получить ключи" в поле "Коллекция"
   2. Установить индекс коллекции
      
6. Перенести действие "Получить значение" на рабочую область. 
   
7. Заполнить параметры действия "Получить значение" 
   1. Установить результат действия "Классифицировать текст" в поле "Словарь"
   2. Установить ключ, полученный из действия "Получить значение по индексу"
      

8.  Нажать на кнопку "Старт" в верхней панели. 

Результат

Программный робот отработал успешно.

Получены следующие результаты:

• ключи словаря - классы
• значение ключей - процент вероятности вхождения текста в класс