Перевод статьи «», рассказывающей о новом революционном инструменте компьютерного зрения UiPath AI, основанного на глубоком обучении.
Надежная автоматизация виртуальных рабочих столов (Vdi), таких, как Citrix, VMware, VNC и Windows Remote Desktop, всегда была крепким орешком для взлома в роботизированной автоматизации процессов. Сотни тысяч предприятий во всем мире используют Vdi и виртуализация на предприятиях растет с каждым днем.
Поиск простых решений для сложных проблем — это, безусловно, непростая задача. Как говорится:«Кто умеет ждать — дождётся большего», поэтому компания UiPath так рада объявить публичный анонс того, что можно назвать настоящим прорывом для индустрии RPA: новый инструмент компьютерного зрения UiPath AI, основанный на глубоком обучении.
Специфической проблемой при попытке автоматизировать VDI является традиционная зависимость RPA от селекторов. Эти селекторы работают с базовыми свойствами элементов пользовательского интерфейса и отлично подходят для идентификации элементов приложения (например, кнопок, текстовых полей и т. д.) при автоматизации собственных декстопных систем. Однако этот метод терпит поражение при попытке автоматизировать одно и то же программное обеспечение для VDI.
Причина разбивки заключается в том, что VDI передаёт изображение удаленного рабочего стола аналогично тому, как это делают службы потоковой передачи видео. Там просто нет селекторов, чтобы идентифицировать видео.
Были попытки решить эту проблему с использованием оптического распознавания символов (OCR) и сопоставления изображений, но они привели к проблемам надежности и обслуживания, поскольку даже незначительные изменения в пользовательском интерфейсе нарушают автоматизацию.
До сих пор на рынке не было решения, позволяющего эффективно автоматизировать среду VDI.
UiPath решает проблемы, рассмотренные выше, с помощью алгоритма компьютерного зрения AI, который позволяет распознавать пользовательские интерфейсы, используя сочетание AI, OCR, нечеткого сопоставления текста и систем защиты, чтобы связать все это вместе.
Это позволяет роботам “видеть” экран и визуально идентифицировать все элементы, а не полагаться на их скрытые свойства, идентификаторы и другие метаданные.
На самом деле, этот новый искусственный интеллект компьютерного зрения не ограничивается только средой VDI. Он также может распознавать элементы в тех случаях, когда традиционные методы автоматизации пользовательского интерфейса, включая SAP, Flash, Silverlight, PDF-файлы и даже изображения, испытывают проблемы.
В отличии от автоматизации при работе с изображениями, компьютерное зрение ИИ UiPath не полагается на соответствие изображения. В результате оно стабильно и очень устойчиво к изменениям интерфейса, включая цвет, шрифт, размер и разрешение. ИИ компьютерного зрения сразу обрабатывает все эти изменения и находит для них предполагаемую цель.
Вся эта технология ещё находится в зачаточном состоянии, но компания уже строит большие планы на её развитие. В течение года для текущей версии добавятся ещё несколько улучшений юзабилити, с поддержкой записи полной автоматизации, с использованием ИИ компьютерного зрения, а затем, во второй версии будет привнесён совершенно новый уровень возможностей и надежности.
Оригинал статьи читайте на сайте uipath.com
Новый ИИ компьютерного зрения решает проблему автоматизации виртуальных рабочих столов, где традиционные методы RPA с использованием селекторов не работают. Он позволяет роботам визуально идентифицировать элементы интерфейса в средах VDI, SAP, Flash, Silverlight и других сложных для автоматизации платформах.
Компьютерное зрение устойчиво к изменениям интерфейса, включая цвет, шрифт, размер и разрешение, не требует селекторов и работает с визуальным представлением элементов. Это обеспечивает стабильность автоматизации даже при модификациях пользовательского интерфейса.
Технология сочетает искусственный интеллект, оптическое распознавание символов, нечеткое сопоставление текста и системы защиты. Это позволяет роботам анализировать экран как изображение и идентифицировать все элементы интерфейса без доступа к их внутренним свойствам.
Решение работает с виртуальными рабочими столами, включая Citrix, VMware, VNC и Windows Remote Desktop, а также с традиционными декстопными системами, SAP, Flash, Silverlight, PDF-файлами и другими сложными для автоматизации платформами.
В отличие от OCR и сопоставления изображений, которые требуют точного соответствия и нарушаются при изменениях интерфейса, компьютерное зрение использует глубокое обучение для понимания визуального контекста и устойчиво к модификациям цвета, шрифта, размера и разрешения элементов.
В течение года планируются улучшения юзабилити с поддержкой записи полной автоматизации, а во второй версии будет добавлен новый уровень возможностей и надежности. Технология продолжает развиваться для обеспечения более стабильной и эффективной автоматизации.
Офис NFP компании Первый Бит предлагает услуги по внедрению компьютерного зрения UiPath для автоматизации виртуальных рабочих столов и сложных интерфейсов. Наши специалисты помогают настроить стабильную автоматизацию процессов в средах Citrix, VMware и других VDI-платформах.
Офис NFP компании Первый Бит специализируется на автоматизации сложных интерфейсов с использованием технологий искусственного интеллекта и компьютерного зрения UiPath. Мы разрабатываем решения для работы с SAP, Flash, Silverlight и другими платформами, где традиционные методы RPA неэффективны.
Офис NFP компании Первый Бит предоставляет консультации по применению компьютерного зрения UiPath для различных сценариев автоматизации. Наши эксперты помогают оценить возможности технологии для ваших бизнес-процессов и разработать стратегию внедрения ИИ в RPA.
Эксперты офиса NFP компании «Первый Бит» расскажут об основных подходах эффективного построения методологии системно-ориентированной бюджетной модели на примере горнорудного предприятия.
Подробнее
Экспертный вебинар, на котором вы получите универсальную карту внедрения ИИ для ключевых бизнес-направлений, а также практический план запуска интеллектуальной автоматизации в ключевых отделах.
Подробнее
Экспертный вебинар от специалистов компании Первый БИТ, где будут рассмотрены современные подходы к лимитированию, управлению резервами и автоматизации процессов бюджетирования с учетом новейших возможностей платформы.
Подробнее
Цели курса: изучение возможностей программного продукта «1С:ERP. Управление Холдингом 8» по реализации бизнес-процессов бюджетного контроля, формирование навыков самостоятельной работы в системе и настройке типового функционала, а также знакомство с общими методическими аспектами бюджетного контроля.
Подробнее
Цели курса: изучение возможностей программного продукта «1С:Управление холдингом» в части бизнес-процессов управления закупками, формирование практических навыков самостоятельной настройки и управления процессами в прикладном решении.
Подробнее
Цели курса: изучение возможностей программного продукта «1С:Управление холдингом» в части бизнес-процессов казначейства, формирование практических навыков самостоятельной настройки и управления процессами в прикладном решении.
Подробнее
Курс ориентирован в первую очередь на представителей бизнеса, которые хотят получить представление о том, как продукт «1С:Управление холдингом» может помочь в решении задач бизнеса.
Подробнее
Цели и задачи: дать слушателям системное представление о возможностях «1С:Управление холдингом» в части функционала, обеспечивающего формирование планов (функциональных и мастер-бюджетов), сбор факта, план-фактный и факторный анализ.
Подробнее
