Группа «Машинное зрение»

Клик по изображению / Click on image

Задача: Открыт документ, необходимо кликнуть ЛКМ по вкладке «Инструменты».

Решение: воспользоваться действием «Клик по изображению».

Реализация:

  • Перенести действие «Клик по изображению» на рабочую область и настроить его параметры. Предвательно необходимо сделать скрин изображения по которому должен кликнуть робот.

Результат:

Программный робот отработал успешно. Клик по указанному изображению совершен.

Вкладка «Инструменты» активна.

Ждать исчезновения / Wait for disappear

Задача: необходимо дождаться исчезновения изображения на экране.

Решение: воспользоваться действием «Ждать исчезновения».

Реализация:

  • Перенести действие «Ждать исчезновения» на рабочую область.

  • Заполнить параметры действия «Ждать исчезновения».

  • Нажать на кнопку «Старт» в верхней панели для запуска робота. Закрыть вручную изображение.

Результат:

Программный робот отработал успешно. Результат «true» - объект был на экране и исчез.

Особые условия использования

Разрешение изображения для поиска и разрешение экрана должно совпадать для корректности отработки действия. Для этого рекомендуется делать скриншот изображения.

Если результат «true», а объект на экране присутствует, значит есть необходимость уточнить степень сходства с изображением для поиска.

Наиболее эффективно применение файлов с расширением «.png»

Ждать появления / Wait for an object

Описание Данное действие предназначено для ожидания появления объекта, соответствующего указанному шаблону, и получения его координат. В случае совпадения переданного изображения с изображением(ями) на экране, возвращаются координаты всех найденных совпадений.

Иконка

Параметры

Входные параметры

  • Изображение * Путь к изображению для распознавания. Допустимые расширения: «.jpeg», «.jpg», «.bmp», «.png», «.tif», «.tiff».

    Если алгоритм не нашел расширение файла или тип файла неприменим, будет выведено предупреждение.

  • Степень сходства Требуемый коэффициент сходства между указанным изображением и искомой областью. Максимальное значение равно «1».

  • Тайм-аут Время, в течение которого будет ожидаться появление заданного объекта. Задается в мс.

  • Возвращать центр Действие будет возвращать координаты центров изображений, найденных на экране. По умолчанию возвращаются координаты верхнего левого угла изображения.

  • Интервал снятия скриншота Интервал снятия снимка экрана для сравнения с указанным изображением. Измеряется в секундах. Допустимые значения: целые числа от 1 и более. Минимум 1 секунда. По умолчанию 1 секунда.

  • Алгоритм сравнения * Алгоритм для сравнения указанного изображения с изображением на экране. Если некорректно работает один алгоритм, следует попробовать другой. Для разных кейсов более корректно будут работать разные алгоритмы сравнения изображения. Применяются следующие алгоритмы сравнения изображения (TemplateMatchModes):.
    • TM_SQDIFF - Сумма квадратов разницы цветов.
    • TM_CCORR - Сумма поэлементных произведений.
    • TM_CCOEFF - Кросс-корреляция между изображениями без среднего (корреляция Пирсона).
    • Прямое соответствие - Соответствие пикселей с указанным изображением.

    Параметр задается в виде выпадающего списка. Режимы сопоставления шаблонов TemplateMatchModes. Значение по умолчанию - TM_CCOEFF.

    Элементы выпадающего списка:

    • TM_SQDIFF.
    • TM_CCORR.
    • TM_CCOEFF.
    • Прямое соответствие.

  • Сделать изображение черно-белым Если значение «true», то цвет изображения будет изменен на оттенки серого.

  • Искать ребра изображения Если значение «true», то будет выполнен поиск ребер объектов на изображении. Ребра - это границы, которые обрисовывают объект изображения.

  • Мин. граница поиска ребер Минимальный размер ребер объектов изображения. Вместе со значением из поля «Макс. граница поиска ребер» составляет диапазон возможных размеров ребер. Учитывается, только если параметр «Искать ребра изображения» - true. Параметр «Минимальная граница поиска ребер» должен быть целым числом от 0 до 255. Значение параметра «Мин. граница поиска ребер» не должно превышать значение параметра «Макс. граница поиска ребер». Допустимое значение: от 0 до 255. По умолчанию: 150.

  • Макс. граница поиска ребер Максимальный размер ребер объектов изображения. Вместе со значением из поля «Мин. граница поиска ребер» составляет диапазон возможных размеров ребер. Учитывается, только если параметр «Искать ребра изображения» - true. Параметр «Максимальная граница поиска ребер» должен быть целым числом от 0 до 255. Допустимое значение: от 0 до 255. По умолчанию: 200.

  • Мин. изменение размера изображения Минимальный коэффициент изменения масштаба указанного изображения. Параметр используется, если размер изображение на экране может отличаться от размера указанного изображения. Параметр «Минимальное изменение размера изображения» должен быть вещественным положительным числом. Рекомендуемое значение: от 0.5. По умолчанию: 1.

  • Макс. изменение размера изображения Максимальный коэффициент изменения указанного изображения. Параметр «Максимальное изменение размера изображения» должен быть вещественным положительным числом.

Выходные параметры

  • Координаты Переменная, которая будет содержать координаты всех найденных объектов. Порядок заполнения коллекции результатов: первым идет объект, найденный ближе всех к верхнему левому углу области поиска. Если объект не появился за указанный промежуток времени, то будет выведена ошибка «Изображение не найдено».

Настройки

Особые условия использования

Разрешение изображения для поиска и разрешение экрана должно совпадать для корректности отработки действия. Для этого рекомендуется делать скриншот изображения.

Наиболее эффективно применение файлов с расширением «.png»

Пример использования

Задача: Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании различных значений параметров согласно таблице настройки.

Решение: Воспользоваться действием «Ждать появления».

Реализация:

  • Перенести на рабочую область действие «Ждать появления». Кликнуть на иконку справа, появится боковая панель с настройками параметров.

    Последовательно будем задавать значения параметров, влияющих на степень сходства с шаблоном появляющегося изображения. В строке изображения укажем путь, где находится изображение для распознавания.

Задача 1.

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании минимальных настроек значений параметров согласно таблице настройки.

Запустить робот.

Робот отработал успешно. Минимальный набор параметров настроек корректен.

Задача 2.

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании расширенных настроек значений параметров согласно таблице настройки.

Запустить робот.

Робот отработал успешно. Расширенный набор параметров настроек корректен.

Задача 3.

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании отдельных некорректных расширенных настроек значений параметров согласно таблице настройки. При задании интервала снятия снимка экрана для сравнения с указанным изображением. Задали нулевое значение. Допустимые значения: целые числа от 1 и более.

Робот выдал ошибку.

Задача 4.

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании отдельных некорректных расширенных настроек значений параметров согласно таблице настройки. При задании минимального коэффициента изменения масштаба указанного изображения задали значение «-1». Рекомендуемое значение: от 0.5. По умолчанию: 1.

Робот выдал ошибку.

Найти текст на экране / Find text on screen

Задача: на экране существует текст, необходимо распознать «Активные спринты» (по совпаднию слов) и вернуть коллекцию точек координат, найденных на экране в соответствии с указанным текстом. Далее, получить значение по индексу из коллекции.

Решение: воспользоваться действием «Найти текст на экране».

Реализация:

  • Собрать робота, состоящего из действий:

  • Настроить параметры для действия «Найти текст на экране».

  • Настроить параметры для действия «Получить значение по индексу».

  • Запустить робота по кнопке «Старт» в верхней панели.

Результат:

Программный робот отработал успешно. Возращена коллекция точек координат, найденных на экране в соответствии с указанным текстом. Возвращаются координаты центра.

Распознать капчу / Recognize captcha

Задача: существует изображение с captcha, необходимо ее распознать.

Решение: воспользоваться действием «Распознать капчу».

Реализация:

  • Перенести действие «Распознать капчу» на рабочую область.

и настроить его параметры:

  • Запустить робота по кнопке «Старт» в верхней панели.

Результат:

Программный робот отработал успешно. Содержимое капчи распознано и записано в строковую переменную.

Существует на экране / Exists on the screen

Задача: необходимо определить существует ли на экране изображение и вывести диалоговое окно с сообщением: изображение найдено на экране или изображение не найдено на экране.

Решение: воспользоваться действиями «Существует на экране», «Если», «Сообщение».

Реализация:

  • Собрать схему робота, состоящего из действий:

  • Настроить параметры действия «Существует на экране».

  • Настроить параметр действия «Если».

  • Настроить параметры действия Сообщения» для веток истина и ложь.

  • Нажать на кнопку «Старт» в верхней панели.

Результат:

Программный робот отработал успешно.

Изображение найдено на экране. Отображено соответствующее диалоговое окно.

Особые условия использования

Разрешение изображения для поиска и разрешение экрана должно совпадать для корректности отработки действия. Для этого рекомендуется делать скриншот изображения.

Если результат «false», а объект на экране присутствует, значит есть необходимость уточнить степень сходства с изображением для поиска.

Наиболее эффективно применение файлов с расширением «.png»

Считать штрихкод из ПДФ / Read barcode from PDF

Задача: существует изображение со штрихкодом, необходимо считать данные по шрихкоду.

Решение: воспользоваться действием «Считать штрихкод из ПДФ».

Реализация:

  • Перенести действие «Считать штрихкод из ПДФ» на рабочую область.

  • Настроить параметры действия «Считать штрихкод из ПДФ».

  • Нажать на кнопку «Старт» в верхней панели.

Результат:

Программный робот отработал успешно. Данные по шрихкоду распознаны.

Особые условия использования

  • В текущей версии действия произвольный штрихкод в произвольном документе с текстом распознан не будет. Действие работает с файлами, которые содержат только штрихкоды (без текста, картинок).
  • Распознаются следующие типы штрихкодов: - EAN13 - UPC-A - UPC-E - CODE 128 - QR code - DATAMATRIX - DATAMATRIX (GS1)
  • Если в файле есть штрихкод, который не прописан в алгоритм работы действия, то действие его проигнорирует. Неизвестный штрихкод не будет распознан, действие вернет пустую коллекцию.
  • Если штрихкоды повернуты под любым углом, то они будут распознаны.
  • Робот вернет пустую коллекцию, если не найдено ни одного штрихкода.

Робот вернет ошибку, если:

  • в поле «Путь к файлу» подается недопустимый формат входного файла.
  • неверно указан номер страницы (вне диапазона количества страниц в документе)
  • порядковый номер выходит за диапазон количества найденных кодов

Робот не вернет ошибку, если:

  • в файле неизвестный штрихкод= в файле нет штрихкода. Вернется пустая коллекция.

Считать штрихкод с изображения / Read barcode from image

Задача: существует изображение с шрихкодом, необходимо считать данные по шрихкоду и записать результат в переменную типа «строка».

Решение: воспользоваться действием «Считать штрихкод с изображения».

Реализация:

  • Перенести действие «Считать штрихкод с изображения» на рабочую область.

  • Настроить параметры действия «Считать штрихкод с изображения».

  • Нажать на кнопку «Старт» в верхней панели.

Результат:

Программный робот отработал успешно. Данные по шрихкоду записаны в текстовую переменную.

Особые условия использования

Если на изображении несколько штрих-кодов, то будет обработан первый по расположению относительно левого верхнего угла изображения.

Извлекается только зашифрованная информация. Привязки к базе данных, для получения полной информации об объекте по числовым кодам не предусмотрено.

Ограничение по размеру используемого изображения 2 ГБ, иначе будет вызвана ошибка действия.

Сгенерировать QR-код / Generate QR code

Особые условия использования

Робот вернет ошибку, если:

  • по указанному пути уже есть файл с указанным именем и поле «перезаписать» = false.
  • словарь с другим типом данных не строк.

Робот вернет пустой результат, не вернет ошибку, если:

  • источники данных пустые. (в том числе табы, пробелы…).

Задача: сгенерировать QR-код и сохранить его на рабочий стол.

Решение: воспользоваться действием «Сгенерировать QR-код».

Реализация:

  • Перенести действие «Сгенерировать QR-код» на рабочую область.

  • Настроить параметры действия «Сгенерировать QR-код»:

  • Нажать на кнопку «Старт» в верхней панели.

Результат:

Программный робот отработал успешно. QR-код сгенерирован и размещен на рабочем столе.

QR-код сгенерирован и размещен на рабочем столе. Картинка с QR-кодом будет сохранена в формате .png

Повернуть изображение / Rotate Image

Описание

Действие изменяет ориентацию изображения.

Ориентация меняется двумя способами: первый- поворот, второй - зеркальное отражение (отображение) по вертикали и горизонтали. Соответственно для каждого способа задаем параметры, для первого способа задаем градусы, для второго - указываем тип зеркального отображения по вертикали или горизонтали, если задавать оба параметра - робот не работает.

Параметры

Входные параметры:

  • Изображение - изображение ориентацию которого необходимо изменить. В поле необходимо указать путь к целевому изображению.

  • Отражение - тип зеркального отражения указанного изображения. Доступен выбор из значений: По вертикали; По горизонтали.

  • Зеркальное отображение по вертикали/горизонтали:

  • Поворот - градус угла поворота указанного изображения.

Поворот в градусах (-50):

Настройки

Особые условия использования

Действие меняет ориентацию указанного изображения.

  • Действие может повернуть изображение на указанное количество градусов: от -360 до 360. Положительное значение повернет изображение по часовой стрелке, а отрицательное – против часовой. Если указан «0», то изображение не изменится.
  • Если указано число вне диапазона, а также нецелое число, то робот вернет ошибку. Описание ошибки: «Некорректное заполнение параметров.».
  • Действие может зеркально отразить изображение по вертикали или по горизонтали.
  • Если не выбран ни один параметр изменения, то действие ничего не меняет.
  • Пользователю необходимо указать путь к файлу(изображению). Допустимые расширения файла: jpg, jpeg, bmp, png, ppm, jpe.
  • Если пользователь указал некорректное расширение файла, то робот отобразит ошибку. Описание ошибки: «Указано некорректное расширение файла.».

Примеры:

Пример использования

Задача: отобразить изображение по горизонтали.

Решение: воспользоваться действием «Повернуть изображение».

Реализация:

  • Перенести действие «Повернуть изображение» (группа «Машинное зрение») на рабочую область.
  • Настроить параметры действия «Повернуть изображение».
  • Нажать на кнопку «Старт» в верхней панели.

Результат:

Программный робот отработал успешно. Изображение отображено по горизонтали.