专栏观察

RPA真正人人可用,实在智能IPA模式及智能屏幕语义理解技术全网首发

2022年3月31日,春至。

实在智能召开RPA行业2022年首场产品发布会。如同007系列电影一样,“AI你所爱 新益求新”的发布会结束语中已悄然埋下伏笔:

不说再见,下一次发布会,与您在更高峰相见!

2022年12月7日,大雪。

春去冬来,实在的承诺如约而至,憋足劲儿的“蝶变·新番”实在智能2022冬季新品发布会重磅登场:

这是一场震撼行业的RPA发布会!

打破传统,变革模式。

本次发布会从功能和体验两个维度带来了实实在在的“科技与狠活”,一言以蔽之:

一款真正人人可用的RPA。

实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术

 

本次发布会已在实在RPA IPA视频号上进行全程回放,欢迎大家观看。

敲黑板,划重点,以下为干货满满的精华实录。

实实在在的理念,实实在在的产品,实实在在的技术,与您分享:

创业四年,作为国内人工智能行业准独角兽的实在智能始终秉持“AI赋能商业”的初心,坚定相信人机协同及超自动化时代的美好未来。

凡事必作于细,也必成于实,实在智能一直致力于不断突破传统RPA的天花板,降低大众人群上手数字化工具的门槛,提升用户体验。

12月7日,实在智能2022冬季新品发布会,以“蝶变·新番”为主题,带来了RPA行业颠覆性、重量级、首创首发的:

新模式

沉浸式搭建超自动化流程的IPA模式

新技术

智能屏幕语义理解技术(ISSUT)

 

一、一款新模式:真正人人可用的沉浸式IPA模式

相信大家正在用手机阅读这篇文章,那么不知您是否还记得2007年苹果公司的iPhone首次发布会。

触屏手机的发明彻底改变了手机和消费电子产品行业,大幅降低手机的使用门槛,让手机全面普及,推动了移动互联网时代的爆发。

这是一个用技术颠覆行业,并让全社会受益的经典案例。

传统RPA软件,其实是一种

“专家模式”

即,用户如果想配置自动化操作,必须要先学会如何使用RPA软件,进而才能在RPA软件与业务软件之间不断切换,逐步以“拖拉拽”或“写代码”的方式,完成自动化流程配置。

而实在RPA的IPA模式,则完全不同,简言之这是一种

“小白模式”

用户不需要额外学习使用实在RPA,也完全不需要“拖拉拽”或“写代码”,按照正常流程直接操作业务软件即可。

每当鼠标悬停,实在RPA会自动推荐(并可在线学习优化推荐)此处可以/可能进行的自动化操作。

每当鼠标点击,该步操作自动转为自动化流程中的一步。由此迭代,任何新手都可以迅速搭建自己的数字员工。

传统RPA“专家模式” vs 实在RPA“IPA模式/小白模式”

实在RPA的IPA模式,类似触屏手机的颠覆式创新,彻底推平了横亘在用户面前,导致传统RPA学习成本大、使用门槛高的三座大山——“拾取、元素和变量”,带来了真正的人人可用,实现“打开就能用、入门就上手”。

全新的实在RPA,给业内行业专家、专业用户带来不小的震撼。

 

震撼一:沉浸式的超自动化体验

识别一切,操作一切

不再需要传统RPA软件的“流程画布”

把“更大,更宽,更全面”的电脑屏幕留给用户

不再需要传统RPA软件的“拖拉拽”

鼠标悬停+鼠标点击,即可完成自动化流程配置

不再需要传统RPA软件与应用软件之间所必须的频繁切换

基于对所有屏幕元素的识别和理解,以及顶部“灵动岛” + 侧边“流程窗”的轻盈交互,实现在超自动化的元宇宙中快速打造数字员工

 

震撼二:所见即所得的操作

一看就会,一用就对

无需学习:不用理解和记忆“组件/元素/变量”,不用“拖拉拽”,不用“写代码”

无需思考:

鼠标悬停,马上弹出可能的自动化操作推荐列表

鼠标框选任意图像区域后,马上弹出可能的AI能力推荐列表(文字识别等)

支持基于场景和动作的在线学习,用得越多越“聪明”,推荐越准

无需转化:鼠标点击,马上在“流程窗”中自动生成自动化流程

自动理解上千种图标含义复杂页面结构并预测推荐自动化操作

为了更清晰、更全面地展示IPA模式的强大功能,这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。

任何直接对数据表的操作

不仅包括,插入行或列,写入单元格或区域内容,自动填充、数据筛选、复制行列、插入新的sheet、重命名sheet、表格里内容的查找替换等

甚至是,复杂的数据透视操作

都会在右侧“流程窗”中自动生成自动化流程,并自动忽略无效步骤,且可以直接运行。

这种所见即所得的数字员工搭建方式,大幅提升数据采集和处理效率,降低了数据自动化处理门槛。

对Excel的人工操作自动生成简洁可执行的自动化流程

 

基于以上模式,以某客户真实场景的Excel自动化操作需求为例:

使用传统RPA

相对资深的RPA开发工程师需花4个多小时,通过50多个组件才能完成搭建。

使用实在RPA的IPA模式

无需RPA开发工程师,业务人员自身只需短短6分钟左右即可完成,“流程窗”中生成的动作只有32个,前所未有地提升了工作效率。

同时,IPA模式还支持对复杂页面数据结构的自动分析,实现一键采集整个表格数据。

自动一键采集抖音后台管理页面的整体数据

 

二、一款新技术:国产自研,行业首创的智能屏幕语义理解技术

被需要的智能才是实在的智能。

实在RPA创新IPA模式的实现,得益于在AI领域的快速持续自研迭代。

目前,实在智能已累计获得近40项发明专利授权、获得软件著作权登记近200项,在RPA行业中实授发明专利数长期位居TOP1。

产品是表,技术是里。

用心优化,用AI改变。

本次发布会上,实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术(ISSUT:Intelligence Screen Semantics Understanding Techonology)。

 

看到这里,相信大家已经领略了IPA模式的神奇和惊艳,下面我们就抽丝剥茧、正式拆解一下IPA模式背后“变戏法的帽子”:

 

Action 1:识别屏幕

 

01、融合拾取3.0技术:使得“元素”皆可拾取

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。

基于CV技术的融合拾取,支持无差别识别各类软件

 

实在智能在2022年3月31日“AI你所爱 新益求新”发布会中全行业首发了“融合拾取3.0”技术,高效精准地解决了复杂元素的识别和操作。

融合拾取技术持续快速迭代,精度速度大幅提升

 

在前期工作基础上,本次发布的ISSUT技术,解决了“何为元素、能否识别”等问题,只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。

这是实现智能屏幕语义理解的第一步,

也是实现RPA真正人人可用的第一步!

 

02、动态元素匹配技术:使得“元素”一键适配

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。

当文字内容或图标外观发生了改变时, RPA机器人有可能会找不到之前的元素。

这时就是动态元素匹配技术的用武之地:

借助AI算法,轻松处理元素变化情况

一次识别,永久适配

 

Action 2:理解屏幕

 

01、页面结构分析技术

既能检得更小,也能看得更大

举个栗子:

当我们使用聊天软件的时候,人可以轻松理解软件界面(电脑屏幕),知道哪里是消息列表,哪里是对话输入框……

那么问题来了,

RPA机器人如何准确、快速、更好地模拟人工操作呢?

为此,我们引入了页面结构分析技术,使得实在RPA在“认识屏幕”之外,更可以“理解屏幕”,并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点:

  • 页面图神经网络分析
  • 动态缩放自适应
  • 区域内容填充识别
通过页面结构分析技术智能理解聊天软件界面

 

02、屏幕语义抽取技术:隔屏取物,懂你所见

这项技术,使得IPA模式真正像人一样理解屏幕的每一个部分,将我们的办公直觉投射到屏幕上,实现真正的所见即所得:

在VR中,我们可以隔空取物;

在实在RPA的IPA模式中,我们可以隔“屏”取物——

即,鼠标的每一次滑动,背后的AI算法都将瞬间完成一次计算,分析出屏幕中元素和区域的含义并且推荐相应的自动化操作:

当鼠标滑过一个浏览器图标,

AI就知道它能用来打开网页和搜索新闻;

当鼠标滑过一个对话框,

AI就判断可以输入文字并发送消息;

当鼠标框选一个包含各种文字的区域,

AI就知道可以进行文字识别及抽取。

通过屏幕语义抽取技术理解界面并推荐自动化操作

 

Action 3:操作预测

 

01、多模态意图预测

从“头秃想想想”到“自如点点点”

对于传统RPA(“专家模式”)

RPA开发工程师往往需要从一堆的组件中找到一个想要的组件,通过“想想想+拖拉拽”完成自动化流程配置;

对于实在RPA(“IPA模式/小白模式”)

多模态意图预测技术,可以支持通过多模态识别和序列上下文挖掘等方法,精准预测用户的每一个操作意图,抹平了从业务场景操作到RPA组件之间的理解鸿沟:

用户的每一次点击就是一次拾取

用户的每一步操作都在配置流程

应用软件操作回到台前,RPA开发退回到幕后,实现二者的真正分离。

 

02、业务感知推荐:理解场景,操作业务

结合表格检测、场景预测和自然语言处理技术,实在RPA的IPA模式。

不仅可以,自动推荐原子级操作(点击图标、输入文字、鼠标移动);还可以,基于业务场景理解,自动推荐业务级操作:

打开网站登录页面,

鼠标划过登录区域,自动推荐「智能登录」操作;

打开商品列表页面,

鼠标划过任何带有数据区域,自动推荐「数据采集」操作。

通过多模态意图预测技术, 感知业务场景并推荐自动化操作

 

Action 4:在线学习

本次发布会还有一个功能彩蛋

实在RPA的IPA模式支持在线学习和迭代优化。

这也正是AI产品的魅力之所在!

根据用户的反馈,算法模型将通过在线学习技术和自动优化机制,能够记住选择和喜好,用的越多,推荐越准。

值得一提的是,所有模型算法都内置在用户本地办公环境,操作习惯和数据均不会通过网络上传,并且配置有防护机制,最大限度地保护用户数据隐私安全。

从这个意义而言,实在RPA的IPA模式:

不仅是人人可用的沉浸式超自动化流程配置模式

更是千人千面的个性化数字员工搭建工具

通过技术的“仪式感”,让每个人都拥有专属的、尊重数据隐私的超级自动化产品

 

“蝶变”意味着破茧而出,羽化成蝶。

本次发布会选此作为主题,寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶,也标志着实在智能超级自动化平台正式跃入“新、广、信、强”的阶段。

越过山丘,IPA模式引领超自动化全新时代。

开启IPA模式的实在RPA产品,叠加实在智能全国产、全自研、全面支持信创的AI产品矩阵,可以通过灵活式组合,轻松搭建各种超级自动化链路,助力千行百业用户打造泛场景的数字员工。同时,安全、稳定、持续创新的技术产品,也会为客户带来实实在在的服务和支持。

这是实在智能的一小步,

却是RPA行业发展的一大步!

 

希望看到您的想法,请您发表评论x