Настройка, создание и удаление классификатора

Настройка классификатора

Классификатор используется Ассистентом для автоматического определения тематики текстовых обращений пользователей и выбора корректного сценария ответа.

В основе классификации лежит предварительно обученная статистическая модель, созданная на базе тематически размеченных текстовых данных.

Полный процесс работы с классификатором включает:

подготовку обучающих данных
обучение модели в специальном инструменте TestDesk
загрузку сформированного индекса в настройки Ассистента
настройку параметров классификации и ответов в Ассистенте

В случае если вам предоставлен готовый архив классификатора можете переходить к Создание классификатора в Ассистенте.

Инструмент TestDesk

TestDesk – это специализированное приложение для создания, обучения и тестирования моделей классификаторов. Инструмент используется для подготовки индекса классификатора, который затем применяется Ассистентом на платформе.

Загрузить инструмент можно по ссылке https://preferentum.ru/wp-content/uploads/2022/04/PreferentumClass.rar.

После загрузки архива необходимо распаковать его в удобное место и использовать папку Test Desk для дальнейшей работы.

Подготовка обучающих данных

Перед обучением классификатора необходимо подготовить структуру данных:

Каждая рубрика (тема) представляется отдельной папкой
Внутри папки рубрики необходимо создать текстовые файлы
Каждый файл содержит одну текстовую фразу, относящуюся к данной рубрике

Шаги выполнения:

1. Создайте отдельную папку, в которой будут данные для обучения классификаторов.

2. Внутри папки создайте папки-рубрики верхнего уровня. Каждая папка соответствует одной тематике, по которой Ассистент должен уметь классифицировать запросы пользователей. Названия папок должны отражать смысл рубрики.

3. Внутри папок верхнего уровня необходимо создать дополнительные вложенные папки-рубрики, который будут отражать конкретные виды вопросов внутри темы.

4. Внутри каждой папки-рубрики необходимо создать текстовые файлы с примерами пользовательских запросов, относящихся к данной тематике.

Требования к файлам:

один файл – одна фраза
формат файла – .txt
текст должен быть максимально приближен к реальным пользовательским обращениям

Пример содержимого файлов:

Рекомендации:

Подрубрики должны быть логически однозначными и не пересекаться по смыслу
В каждой подрубрике рекомендуется использовать несколько формулировок одного и того же вопроса
Не используйте одинаковые фразы в разных подрубриках
Чем точнее сформированы подрубрики, тем выше качество классификации

После завершения подготовки структуры папок и текстовых файлов данные готовы к загрузке и обучению классификатора в инструменте TestDesk.

Создание и обучение индекса классификатора в TestDesk

1. Запустите файл Class Test Desk.exe из папки TestDesk

2. В основном окне программы нажмите кнопку "Создать новый индекс".

3. Создайте пустую папку, в которой будет храниться индекс классификатора. Именно этот индекс впоследствии необходимо будет загрузить в настройки Ассистента для формирования классификатора.

4. После создания индекса нажмите кнопку "Добавить из папок".

5. Выберите папку для обучения с подготовленными рубриками и подтвердите загрузку.

6. После завершения процесса данные будут использованы для обучения модели классификатора.

7. После того как классификатор обучен, можно проверить, как он распознаёт текстовые запросы. Для этого перейдите на вкладку "Классификация текста".

8. Введите текст вручную или загрузите его из файла и нажмите "Классифицировать".

Программа покажет список рубрик (тем), в которые классификатор может отнести этот текст
Рубрики будут отсортированы по степени соответствия – от наиболее подходящей к менее подходящим.
Каждой рубрике будет присвоен вес, который показывает, насколько уверенно классификатор отнёс текст к этой рубрике.

Формирование архива индекса

После завершения обучения и проверки классификатора необходимо:

1. Упаковать папку с созданным индексом в архив

2. Использовать этот архив для последующей загрузки в настройки Ассистента. Подробнее см. ниже.

Создание классификатора в Ассистенте

Создание классификатора возможно при нажатии кнопки "Создать классификатор" на странице "Классификаторы". При этом отображается модальное окно "Создание классификатора", интерфейс которого позволяет загрузить новый архив (индекс) с тематиками классификатора. В модальное окно "Создание классификатора" можно загрузить только один архив.

Загруженный архив будет использоваться Ассистентом для классификации пользовательских запросов – именно этот файл содержит все подготовленные рубрики и обучающие фразы.

При присвоении названия загружаемого классификатора система проверяет наименование классификатора на уникальность

Описание элементов интерфейса модального окна "Создание классификатора" представлено на рисунке и в нижеприведенной таблице:

Название элемента

Шаблон/пример

Описание

Поле (1)

Название

Пример:

Классификатор обращений ТП

Уникальное название классификатора

Блок загрузки (2)

Пример:

Содержит процесс запуска заявки

Максимальный размер архива может варьироваться в зависимости от выбранных ограничений

Выбор архива, который содержит настроенный индекс с тематиками (название папки с индексом и будет названием самого архива), архив можно перетащить или загрузить через проводник, прикрепить можно не более одного архива

Значение по умолчанию:

"Выберите архив или перетащите сюда.
Максимальный размер файла: 50 MB"

Группа классификаторов

Пример:

Классификатор для техподдержки

Список включает в себя все доступные пользователю группы классификаторов
Можно выбрать только одну группу классификаторов
В поле есть возможность поиска группы при вводе текста в поле
Доступен поиск по части названия группы: введенный текст может быть в любой части названия.
Регистр не учитывается

Рядом с полем расположена подсказка с вопросительным знаком, при наведении выводится всплывающая строка с текстом:
"Классификатор является навыком для работы с чатом  Ассистента. Доступ к Классификатору будет ограничен той группой, которую вы выбрали. Если группа не выбрана,  то навык Классификатора не будет отображаться в чате. Название навыка соответствует названию классификатора."

В одну группу классификаторов может быть добавлено несколько классификаторов

Поле

"Описание классификатора" (3)

Пример:

Содержит процесс обратной связи

Краткое описание классификатора. Поле необязательное для заполнения

Используется для описания работы классификатора и внесенных изменений

Максимальное количество символов – 500

Кнопка

"Сохранить" (4)

–

Создает и сохраняет новый классификатор

Кнопка

"Отменить" (5)

–

Отменяет загрузку архива

При успешном добавлении и сохранении классификатора пользователь перенаправляется в карточку созданного классификатора, которая находится в режиме чтения – Работа карточки 'Классификатор' в режимах чтения и редактирования

Создание классификатора не происходит, если в модальном окне:

не заполнены обязательные поля
название не уникальное
файл не был добавлен в область загрузки
или Пользователь нажал на кнопку "Отменить"

Пример создания классификатора

Пользователь выбирает раздел "Ассистент", страницу "Настройки", вкладку "Классификаторы".
Пользователь нажимает кнопку "Создать классификатор".
Открывается модальное окно "Создание классификатора".
Пользователь выбирает архив для загрузки в проводнике, выбирает группу классификаторов для добавленного классификатора, заполняет поле "Описание".
После сохранения новый классификатор добавляется в таблицу классификаторов (см. Вкладка "Классификаторы").
Пользователь перенаправляется в Карточку созданного классификатора, которая находится в режиме чтения. Подробнее можно посмотреть тут: Работа карточки 'Классификатор' в режимах чтения и редактирования.
Данные из архива выгружаются в таблицу "Соответствия тематик и типов ответов ассистента". В колонке "Тематика" заполняется таблица тематиками загруженного архива.