一种基于图像匹配的模拟人工操作方法与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及办公自动化技术领域，具体地说，特别涉及一种基于图像匹配的模拟人工操作方法。背景技术：2.随着现代信息技术的发展，办公与计算机技术结合而成的办公自动化技术是一种正在兴起的综合性技术。它不仅可以实现办公事务的自动化处理，而且可以极大地提高个人或者团队办公事务处理的效率。当前，无论是政府、企业还是个体经营者，可能都存在大量流程性、重复性的文档类工作，人工操作不仅枯燥无聊，还容易导致出错。自动化操作软件可以通过模拟人工操作的行为，通过计算机代替人工处理这类工作，将人从繁琐的重复性劳动中解救出来。同时机器操作可以极大降低人工操作的错误率。3.目前一种主流的模拟人工操作的技术思路是通过代码记录人工操作时操作系统产生的相关事件(鼠标点击事件、键盘输入事件等)，在之后模拟人工操作过程中按序向操作系统发送已被记录的事件。这种技术一般会记录事件产生时对应的操作区域，操作区域的变化可能会导致机器模拟的行为失败。另一个问题是，对于某些前后步骤有时间要求的场景，人工在进行示范操作时，需要仔细考虑时间间隔等因素，避免出现待操作对象尚未出现而模拟事件已产生的现象，最终导致任务失败。技术实现要素：4.为解决计算机模拟人工操作过程受操作区域变动和前后步骤时间差影响的问题，本发明实施例提供了一种基于图像匹配的模拟人工操作方法。所述技术方案如下：5.一方面，提供了一种基于图像匹配的模拟人工操作方法，包括：6.步骤1：选取操作界面的定位图像；所述定位图像为组件的截图；所述定位图像的特征元素唯一；7.步骤2：提供操作事件序列；所述操作事件序列包括对所述定位图像的操作行为；8.步骤3：重复步骤1、步骤2，组成一套任务脚本；9.步骤4：运行所述任务脚本，自动化完成办公行为。10.进一步地，步骤1中，选取操作界面的定位图像的具体步骤包括：11.获取操作界面窗体图像；12.然后通过图像比对算法计算所述窗体图像中是否存在满足所述定位图像特征的多个点位；若存在多个点位，所述定位图像的特征元素无法做到唯一定位，需要重新选择定位元素。13.进一步地，步骤2中，提供操作事件序列的具体步骤包括：14.先选择操作事件，再提供输入内容。15.进一步地，步骤3中，组成一套任务脚本的具体步骤包括：16.分解预设任务的操作步骤，按照分解顺序依次执行步骤1、步骤2，全部处理完成后保存所述任务脚本。。17.本发明实施例提供的技术方案带来的有益效果是：18.本发明提供的一种基于图像匹配的模拟人工操作方法，通过图像匹配来确定每个操作步骤，再根据指令文件来确定每个步骤如何模拟人工操作。由于每个步骤的操作区域是根据图像匹配定位，所以操作界面的位置区域变动无法对定位造成影响。另外，如果软件未检测到某一步骤的定位图像，即认为当前步骤尚未开始，将会进入等待模式，等待下一步骤开始，不会模拟尚未出现的对象的待操作行为，保证任务连续和稳定。附图说明19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。20.图1是本发明实施例的一种基于图像匹配的模拟人工操作方法的示意图。具体实施方式21.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。22.本实施例中提供了一种基于图像匹配的模拟人工操作方法，包括：23.步骤1：选取定位图像a；定位图像a通常是某个按钮、文本框等组件的截图，需要尽可能保证a的图像特征唯一且明显。24.具体地，定位检查需要先获取整个操作界面窗体图像称为s，定位元素称为a，然后通过图像比对算法计算s中是否存在满足a特征的多个点位。若存在多个点位，意味a特征元素无法做到唯一定位，需要重新选择定位元素。25.步骤2：提供操作事件序列b；事件序列b中包含的内容是对定位图像a的操作行为，如按钮的点击、文本框的输入。26.具体地，先选择操作事件，在提供输入内容；如键盘输入事件，可能需要提供待输入的文本。27.步骤3：通过重复步骤1、2组成一套任务脚本，任务脚本的内容是为完成预设任务进行的一系列操作；28.具体地，分解某个任务的操作步骤，按照分解顺序依次执行步骤1、步骤2，全部处理完成后保存该任务脚本文件。29.本实施例中，以访问网页为例，访问网页需要：30.1)点击浏览器；31.2)地址栏中输入网址；32.3)点击访问按钮。33.对应的脚本是：34.1)选取桌面中浏览器图标作为定位图像a1，鼠标点击事件作为事件序列b1内容，该步骤作为任务脚本的一部分称为t1。35.2)选取地址栏图像作为定位图像a2，文本输入事件以及网址作为事件序列b2内容，该步骤作为任务脚本的一部分称为t2。36.3)选取访问按钮图像作为定位图像a3，鼠标点击事件作为事件序列b3内容，该步骤作为任务脚本的一部分称为t3。37.t1、t2、t3按序组成了访问网页的任务脚本t。38.步骤4：执行任务脚本t时，桌面恢复初始图像p0，按照任务脚本t中的操作序列执行：39.1)执行任务脚本t1，取出任务脚本t1中的定位图像a1，在图像p0中匹配搜索定位图像a1，当找到图像特征符合定位图像a1特征的区域，确定该区域在操作系统中的位置坐标(x1,y1)，模拟鼠标移动事件将鼠标移动到该位置(x1,y1)。通过操作系统提供的接口在该位置输入事件序列b1。全部结束后即完成了任务脚本t1执行。40.2)任务脚本t1执行后桌面会形成新的图像p1。执行任务脚本t2，取出任务脚本t2中的定位图像a2，在图像p1中匹配搜索定位图像a2，找到定位图像a2后输入事件序列b2。全部结束后完成t2执行。41.3)任务脚本t2执行后桌面形成新的图像p2。执行任务脚本t3，取出任务脚本t3中的定位图像a3，在图像p2中匹配搜索定位图像a3，找到定位图像a3后输入事件序列b3。全部结束后完成任务脚本t3执行。42.任务脚本t1、t2、t3全部执行完成后即任务脚本t的任务完成，也就是访问某个网页这一任务完成。43.具体操作时，参见图1：44.1.用户打开软件，新建task文件，确定本次的办公任务，分解好任务的每个步骤。45.2.转到单步操作界面，利用软件选取定位图像，软件进行定位可靠性检查，便于task文件执行时软件能确定某步骤。检查通过后将定位图像暂存至内存当中；检测不通过提示用户重新选择。46.3.提示用户选择操作事件，将用户提供的操作事件以及内容保存在内存当中。47.4.提示用户是否继续编写脚本操作，若是，则转步骤2；若否，则表明用于完成所有脚本内容编写，软件将内存中所有内容持久化存储至task文件。48.5.用户利用软件运行task文件，软件根据task文件中保存的每个步骤的定位图像以及事件内容自动化完成task文件指向的办公任务。49.由于每个步骤的操作区域是根据图像匹配定位，所以操作界面的位置区域变动无法对定位造成影响。另外，如果软件未检测到某一步骤的定位图像，即认为当前步骤尚未开始，将会进入等待模式，等待下一步骤开始，不会模拟尚未出现的对象的待操作行为，保证任务连续和稳定。50.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!