Публично анонсирован новый искусственный интеллект компьютерного зрения от компании UiPath
Перевод статьи «», рассказывающей о новом революционном инструменте компьютерного зрения UiPath AI, основанного на глубоком обучении.
Надежная автоматизация виртуальных рабочих столов (Vdi), таких, как Citrix, VMware, VNC и Windows Remote Desktop, всегда была крепким орешком для взлома в роботизированной автоматизации процессов. Сотни тысяч предприятий во всем мире используют Vdi и виртуализация на предприятиях растет с каждым днем.
Поиск простых решений для сложных проблем — это, безусловно, непростая задача. Как говорится:«Кто умеет ждать — дождётся большего», поэтому компания UiPath так рада объявить публичный анонс того, что можно назвать настоящим прорывом для индустрии RPA: новый инструмент компьютерного зрения UiPath AI, основанный на глубоком обучении.
Проблема автоматизации VDI
Специфической проблемой при попытке автоматизировать VDI является традиционная зависимость RPA от селекторов. Эти селекторы работают с базовыми свойствами элементов пользовательского интерфейса и отлично подходят для идентификации элементов приложения (например, кнопок, текстовых полей и т. д.) при автоматизации собственных декстопных систем. Однако этот метод терпит поражение при попытке автоматизировать одно и то же программное обеспечение для VDI.
Причина разбивки заключается в том, что VDI передаёт изображение удаленного рабочего стола аналогично тому, как это делают службы потоковой передачи видео. Там просто нет селекторов, чтобы идентифицировать видео.
Были попытки решить эту проблему с использованием оптического распознавания символов (OCR) и сопоставления изображений, но они привели к проблемам надежности и обслуживания, поскольку даже незначительные изменения в пользовательском интерфейсе нарушают автоматизацию.
До сих пор на рынке не было решения, позволяющего эффективно автоматизировать среду VDI.
Бесшовная автоматизация в декстопных и VDI средах
UiPath решает проблемы, рассмотренные выше, с помощью алгоритма компьютерного зрения AI, который позволяет распознавать пользовательские интерфейсы, используя сочетание AI, OCR, нечеткого сопоставления текста и систем защиты, чтобы связать все это вместе.
Это позволяет роботам “видеть” экран и визуально идентифицировать все элементы, а не полагаться на их скрытые свойства, идентификаторы и другие метаданные.
На самом деле, этот новый искусственный интеллект компьютерного зрения не ограничивается только средой VDI. Он также может распознавать элементы в тех случаях, когда традиционные методы автоматизации пользовательского интерфейса, включая SAP, Flash, Silverlight, PDF-файлы и даже изображения, испытывают проблемы.
В отличии от автоматизации при работе с изображениями, компьютерное зрение ИИ UiPath не полагается на соответствие изображения. В результате оно стабильно и очень устойчиво к изменениям интерфейса, включая цвет, шрифт, размер и разрешение. ИИ компьютерного зрения сразу обрабатывает все эти изменения и находит для них предполагаемую цель.
Искусственный интеллект в компьютерном зрении — путь вперед
Вся эта технология ещё находится в зачаточном состоянии, но компания уже строит большие планы на её развитие. В течение года для текущей версии добавятся ещё несколько улучшений юзабилити, с поддержкой записи полной автоматизации, с использованием ИИ компьютерного зрения, а затем, во второй версии будет привнесён совершенно новый уровень возможностей и надежности.
Оригинал статьи читайте на сайте uipath.com
FAQ: Часто задаваемые вопросы
Какие проблемы решает новый искусственный интеллект компьютерного зрения от UiPath?
Новый ИИ компьютерного зрения решает проблему автоматизации виртуальных рабочих столов, где традиционные методы RPA с использованием селекторов не работают. Он позволяет роботам визуально идентифицировать элементы интерфейса в средах VDI, SAP, Flash, Silverlight и других сложных для автоматизации платформах.
В чем преимущества компьютерного зрения перед традиционными методами автоматизации?
Компьютерное зрение устойчиво к изменениям интерфейса, включая цвет, шрифт, размер и разрешение, не требует селекторов и работает с визуальным представлением элементов. Это обеспечивает стабильность автоматизации даже при модификациях пользовательского интерфейса.
Какие технологии использует UiPath AI Computer Vision?
Технология сочетает искусственный интеллект, оптическое распознавание символов, нечеткое сопоставление текста и системы защиты. Это позволяет роботам анализировать экран как изображение и идентифицировать все элементы интерфейса без доступа к их внутренним свойствам.
Для каких сред подходит новое решение компьютерного зрения?
Решение работает с виртуальными рабочими столами, включая Citrix, VMware, VNC и Windows Remote Desktop, а также с традиционными декстопными системами, SAP, Flash, Silverlight, PDF-файлами и другими сложными для автоматизации платформами.
Чем отличается компьютерное зрение от OCR и сопоставления изображений?
В отличие от OCR и сопоставления изображений, которые требуют точного соответствия и нарушаются при изменениях интерфейса, компьютерное зрение использует глубокое обучение для понимания визуального контекста и устойчиво к модификациям цвета, шрифта, размера и разрешения элементов.
Какие перспективы развития у технологии компьютерного зрения UiPath?
В течение года планируются улучшения юзабилити с поддержкой записи полной автоматизации, а во второй версии будет добавлен новый уровень возможностей и надежности. Технология продолжает развиваться для обеспечения более стабильной и эффективной автоматизации.
Где заказать внедрение компьютерного зрения для автоматизации VDI?
Офис NFP компании Первый Бит предлагает услуги по внедрению компьютерного зрения UiPath для автоматизации виртуальных рабочих столов и сложных интерфейсов. Наши специалисты помогают настроить стабильную автоматизацию процессов в средах Citrix, VMware и других VDI-платформах.
Кто может помочь с автоматизацией сложных интерфейсов с помощью ИИ?
Офис NFP компании Первый Бит специализируется на автоматизации сложных интерфейсов с использованием технологий искусственного интеллекта и компьютерного зрения UiPath. Мы разрабатываем решения для работы с SAP, Flash, Silverlight и другими платформами, где традиционные методы RPA неэффективны.
Где получить консультацию по использованию компьютерного зрения в RPA?
Офис NFP компании Первый Бит предоставляет консультации по применению компьютерного зрения UiPath для различных сценариев автоматизации. Наши эксперты помогают оценить возможности технологии для ваших бизнес-процессов и разработать стратегию внедрения ИИ в RPA.
