Wait for appearance Vision

Ждать появления Версия 9 (Python)

Группа действий: Машинное зрение

Описание

Данное действие предназначено для ожидания появления объекта, соответствующего указанному шаблону, и получения его координат. В случае совпадения переданного изображения с изображением(ями) на экране, возвращаются координаты всех найденных совпадений.

Иконка

Параметры

Входные параметры

Изображение - Путь к изображению для распознавания. Допустимые расширения: ".jpeg", ".jpg", ".bmp", ".png", ".tif", ".tiff". Если алгоритм не нашел расширение файла или тип файла неприменим, будет выведено предупреждение.
Степень сходства - Требуемый коэффициент сходства между указанным изображением и искомой областью. Максимальное значение равно "1".
Тайм-аут - Время, в течение которого будет ожидаться появление заданного объекта. Задается в мс.
Возвращать центр - Действие будет возвращать координаты центров изображений, найденных на экране. По умолчанию возвращаются координаты верхнего левого угла изображения.
Интервал снятия скриншота - Интервал снятия снимка экрана для сравнения с указанным изображением. Измеряется в секундах. Допустимые значения: целые числа от 1 и более. Минимум 1 секунда. По умолчанию 1 секунда.
Алгоритм сравнения - Алгоритм для сравнения указанного изображения с изображением на экране. Если некорректно работает один алгоритм, следует попробовать другой. Для разных кейсов более корректно будут работать разные алгоритмы сравнения изображения. Применяются следующие алгоритмы сравнения изображения (TemplateMatchModes):

- TM_SQDIFF - Сумма квадратов разницы цветов.
- TM_CCORR - Сумма поэлементных произведений.
- TM_CCOEFF (по умолчанию) - Кросс-корреляция между изображениями без среднего (корреляция Пирсона).
- Прямое соответствие - Соответствие пикселей с указанным изображением.Сделать изображение черно-белым Если значение "true", то цвет изображения будет изменен на оттенки серого.

7. Искать ребра изображения - Если значение "true", то будет выполнен поиск ребер объектов на изображении. Ребра - это границы, которые обрисовывают объект изображения.

8. Мин. граница поиска ребер - Минимальный размер ребер объектов изображения. Вместе со значением из поля «Макс. граница поиска ребер» составляет диапазон возможных размеров ребер. Учитывается, только если параметр "Искать ребра изображения" - true. Параметр "Минимальная граница поиска ребер" должен быть целым числом от 0 до 255. Значение параметра "Мин. граница поиска ребер" не должно превышать значение параметра "Макс. граница поиска ребер". Допустимое значение: от 0 до 255. По умолчанию: 150.

9. Макс. граница поиска ребер - Максимальный размер ребер объектов изображения. Вместе со значением из поля «Мин. граница поиска ребер» составляет диапазон возможных размеров ребер. Учитывается, только если параметр "Искать ребра изображения" - true. Параметр "Максимальная граница поиска ребер" должен быть целым числом от 0 до 255. Допустимое значение: от 0 до 255. По умолчанию: 200.

10. Мин. изменение размера изображения - Минимальный коэффициент изменения масштаба указанного изображения. Параметр используется, если размер изображение на экране может отличаться от размера указанного изображения. Параметр "Минимальное изменение размера изображения" должен быть вещественным положительным числом. Рекомендуемое значение: от 0.5. По умолчанию: 1.

11. Макс. изменение размера изображения - Максимальный коэффициент изменения указанного изображения. Параметр "Максимальное изменение размера изображения" должен быть вещественным положительным числом.

Выходные параметры

Координаты - Переменная, которая будет содержать координаты всех найденных объектов. Порядок заполнения коллекции результатов: первым идет объект, найденный ближе всех к верхнему левому углу области поиска. Если объект не появился за указанный промежуток времени, то будет выведена ошибка "Изображение не найдено".

Настройки

Property	Description	Type	Filling example	Mandatory field
Parameters
Image	The path to the image for recognition. The most effective use of files with the extension «.png». Valid extensions: «.jpeg», «.jpg», «.bmp», «.png», «.tif», «.tiff». If the algorithm did not find the file extension or the file type is not applicable, a warning will be displayed.	Robin.Image	C:\doc\img.png	Yes
Similarity rate	Required coefficient of similarity between the template image and the target area. The maximum value is «1»	Robin.Numeric		Yes
Give center	If the parameter is «false», the action will return coordinates of the upper left corner of the image found on the screen, otherwise it returns coordinates of the center of the found image	Robin.Boolean	true	No
Timeout (ms)	The time during which the appearance of the specified object will be expected. Timeout is set in milliseconds	Robin.Numeric		Yes
Interval of taking screenshots	The interval of taking a screenshot for comparison with the specified image. Measured in seconds. Acceptable values: integers from 1 and more.	Robin.Numeric		No
Comparison algorithm	The algorithm for comparing the specified image. If one algorithm does not work correctly, you should try another one. The default value is TM_CCOEFF.	Robin.String		No
Make the image black and white	If the value is «true», then the image color will be changed to grayscale.	Robin.Boolean	true	No
Search for image edges	If the value is «true», then the search for edges of objects in the image will be performed. Edges are the boundaries that outline the image object.	Robin.Boolean	true	No
Min edge search boundary	The minimum size of the edges of the image objects. Together with the value from the «Max. edge search boundary» field, it makes up the range of possible edge sizes. It is taken into account only if the «Search for image edges» parameter is true. Acceptable value: from 0 to 255. Default: 150.	Robin.Numeric		No
Max edge search boundary	The maximum size of the edges of the image objects.Together with the value from the «Min. edge search boundary» field, it makes up the range of possible edge sizes. It is taken into account only if the «Search for image edges» parameter is true. Acceptable value: from 0 to 255. Default: 200.	Robin.Numeric		No
Min image size change	The minimum zoom factor of the specified image. This parameter is used if the size of the image on the screen may differ from the size of the specified image. Recommended value: from 0.5. Default: 1.	Robin.Numeric		No
Max image size change	The maximum zoom factor of the specified image. It is recommended to use the parameter if the size of the image on the screen may differ from the size of the specified image. Recommended value: up to 5. By default: 1.	Robin.Numeric		No
Results
Coordinates	A variable that will contain the coordinates of all found objects. The order in which the result collection is populated: first comes the object found closest to the top-left corner of the search area. If the object did not appear within the specified period of time, the error «Image not found» will be displayed.	Robin.Collection

Особые условия использования

Разрешение изображения для поиска и разрешение экрана должно совпадать для корректности отработки действия. Для этого рекомендуется делать скриншот изображения. Наиболее эффективно применение файлов с расширением ".png"
Интервал снятия скриншота не учитывает время обработки изображения. Действие будет снимать экран с заданной периодичностью. Интервал измеряется в секундах. Минимум 1 секунда.
Значение параметра "Мин. множитель изменения размера изображения" не должно превышать значение параметра "Макс. множитель изменения размера изображения". Иначе действие выдаст ошибку.
Если параметр "Мин. граница поиска ребер" заполнен, а параметр "Макс. граница поиска ребер" не заполнен (и наоборот), то действие будет брать значения, которые указаны у этих параметров по умолчанию.
Если параметр "Мин. множитель изменения размера изображения" заполнен, а параметр "Макс. множитель изменения размера изображения" не заполнен (и наоборот), то действие будет брать значения, которые указаны у этих параметров по умолчанию.

Пример использования

Задача

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании различных значений параметров согласно таблице настройки.

Решение

Воспользоваться действием "Ждать появления".

Реализация

Добавить в тестовый робот действие "Ждать появления" - 6 на рабочую область, с которым мы будем работать .
Кликнуть на иконку справа появится боковая панель с настройками параметров.
Последовательно будем задавать значения параметров.

В строке изображения укажем путь, где находится изображение для распознавания.

Последовательно будем заполнять параметры, влияющие на степень сходства с шаблоном появляющегося изображения.

Задача 1

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании минимальных настроек значений параметров согласно таблице настройки.

Запустить робот.

Робот отработал успешно. Минимальный набор параметров настроек корректен.

Задача 2

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании расширенных настроек значений параметров согласно таблице настройки.

Запустить робот.

Задача 3

Вернуть координаты найденных изображений на экране, соответствующих указанному изображению при задании отдельных некорректных расширенных настроек значений параметров отличных от таблицы настройки.

При задании интервала снятия снимка экрана для сравнения с указанным изображением. Задали нулевок значение. Допустимые значения: целые числа от 1 и более.

Робот выдал ошибку.

Задача 4.