银行服务质量反馈方法及装置与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及人工智能技术领域，尤其涉及银行服务质量反馈方法及装置。背景技术：2.目前银行的对客渠道如网点、电子银行等的服务质量评价完全依赖客户手动评价，评价率低，从而不利于服务质量的提升。3.综上，目前亟需一种银行服务质量反馈方法，用于解决上述现有技术存在的问题。技术实现要素：4.本发明实施例提供一种银行服务质量反馈方法，用以提高银行服务质量反馈的实时性及准确性，该方法包括：5.采集目标用户的人脸视频数据；6.根据所述人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据；所述第一时间帧对应银行服务开始时刻；所述第二时间帧对应银行服务结束时刻；7.将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果；所述人脸情绪识别模型为利用历史用户的人脸图像数据及对应的人脸情绪识别结果，对机器学习模型进行训练后得到；8.将第二人脸图像数据输入至人脸情绪识别模型，得到第二人脸图像数据对应的第二人脸情绪识别结果；9.根据所述第一人脸情绪识别结果以及所述第二人脸情绪识别结果确定目标用户的人脸情绪变化值；10.确定目标用户所处环境中：第一时间帧所处第一时间段内的第一语音数据，以及第二时间帧所处第二时间段内的第二语音数据；11.将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果；所述语音情绪识别模型为利用历史用户的语音数据及对应的语音情绪识别结果，对机器学习模型进行训练后得到；12.将第二语音数据输入至语音情绪识别模型，得到第二语音数据对应的第二语音情绪识别结果；13.根据所述第一语音情绪识别结果以及所述第二语音情绪识别结果确定目标用户的语音情绪变化值；14.根据所述人脸情绪变化值以及所述语音情绪变化值确定目标用户对应的银行服务质量反馈结果。15.本发明实施例还提供一种银行服务质量反馈装置，用以提高银行服务质量反馈的实时性及准确性，该装置包括：16.获取模块，用于采集目标用户的人脸视频数据；17.人脸情绪识别模块，用于根据所述人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据；所述第一时间帧对应银行服务开始时刻；所述第二时间帧对应银行服务结束时刻；将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果；所述人脸情绪识别模型为利用历史用户的人脸图像数据及对应的人脸情绪识别结果，对机器学习模型进行训练后得到；将第二人脸图像数据输入至人脸情绪识别模型，得到第二人脸图像数据对应的第二人脸情绪识别结果；根据所述第一人脸情绪识别结果以及所述第二人脸情绪识别结果确定目标用户的人脸情绪变化值；18.语音情绪识别模块，用于确定目标用户所处环境中：第一时间帧所处第一时间段内的第一语音数据，以及第二时间帧所处第二时间段内的第二语音数据；将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果；所述语音情绪识别模型为利用历史用户的语音数据及对应的语音情绪识别结果，对机器学习模型进行训练后得到；将第二语音数据输入至语音情绪识别模型，得到第二语音数据对应的第二语音情绪识别结果；根据所述第一语音情绪识别结果以及所述第二语音情绪识别结果确定目标用户的语音情绪变化值；19.银行服务质量反馈模块，用于根据所述人脸情绪变化值以及所述语音情绪变化值确定目标用户对应的银行服务质量反馈结果。20.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述银行服务质量反馈方法。21.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述银行服务质量反馈方法。22.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述银行服务质量反馈方法。23.本发明实施例中，采集目标用户的人脸视频数据，根据人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据，将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果，将第二人脸图像数据输入至人脸情绪识别模型，得到第二人脸图像数据对应的第二人脸情绪识别结果，根据第一人脸情绪识别结果以及第二人脸情绪识别结果确定目标用户的人脸情绪变化值，确定第一时间段下的第一语音数据以及第二时间段下的第二语音数据，将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果，将第二语音数据输入至语音情绪识别模型，得到第二语音数据对应的第二语音情绪识别结果，根据第一语音情绪识别结果以及第二语音情绪识别结果确定目标用户的语音情绪变化值，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果，与现有技术相比，通过人脸情绪识别模型确定银行服务前后目标用户的人脸情绪变化值，通过语音识别模型确定银行服务前后目标用户的语音情绪变化值，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果，实现了自动反馈银行服务质量，减少用户操作，提高了效率，提高了银行服务质量反馈的实时性及准确性。附图说明24.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：25.图1为本发明提供的银行服务质量反馈方法的流程示意图；26.图2为本发明提供的银行服务质量反馈方法的流程示意图；27.图3为本发明提供的银行服务质量反馈方法的流程示意图；28.图4为本发明提供的银行服务质量反馈方法的流程示意图；29.图5为本发明提供的银行服务质量反馈装置的结构示意图。具体实施方式30.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。31.本发明实施例中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。32.图1为本发明实施例提供的一种银行服务质量反馈方法所对应的流程示意图，如图1所示，该方法包括：33.步骤101，采集目标用户的人脸视频数据。34.本发明实施例中，在银行网点入口、等待区、办理业务区等区域设置摄像头采集目标用户的人脸视频数据。35.步骤102，根据人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据。36.需要说明的是，第一时间帧对应银行服务开始时刻，第二时间帧对应银行服务结束时刻。37.举例来说，摄像头设置在每个业务窗口，采集办理业务的用户的人脸视频数据，然后从人脸视频数据中截取第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据。38.步骤103，将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果。39.需要说明的是，人脸情绪识别模型为利用历史用户的人脸图像数据及对应的人脸情绪识别结果，对机器学习模型进行训练后得到。40.步骤104，将第二人脸图像数据输入至人脸情绪识别模型，得到第二人脸图像数据对应的第二人脸情绪识别结果。41.步骤105，根据第一人脸情绪识别结果以及第二人脸情绪识别结果确定目标用户的人脸情绪变化值。42.步骤106，确定目标用户所处环境中：第一时间帧所处第一时间段内的第一语音数据，以及第二时间帧所处第二时间段内的第二语音数据。43.步骤107，将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果。44.需要说明的是，语音情绪识别模型为利用历史用户的语音数据及对应的语音情绪识别结果，对机器学习模型进行训练后得到。45.步骤108，将第二语音数据输入至语音情绪识别模型，得到第二语音数据对应的第二语音情绪识别结果。46.步骤109，根据第一语音情绪识别结果以及第二语音情绪识别结果确定目标用户的语音情绪变化值。47.步骤110，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果。48.上述方案，通过人脸情绪识别模型、语音情绪识别模型分别识别服务前后目标用户的情绪，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果，降低了成本，实现了自动反馈银行服务质量，避免了目标用户初始情绪较差带来的银行服务质量的误判，提高了银行服务质量反馈的准确性及效率。49.本发明实施例在将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果之前，步骤流程如图2所示，具体如下：50.步骤201，将历史用户的人脸图像数据及对应的人脸情绪识别结果作为样本数据，构建第一训练集和第一测试集。51.步骤202，利用第一训练集对机器学习模型进行训练，得到人脸情绪识别模型。52.步骤203，利用第一测试集对人脸情绪识别模型进行测试。53.上述方案，利用第一训练集对机器学习模型进行训练，得到人脸情绪识别模型，通过人脸情绪识别模型识别目标用户的情绪，提高了人脸情绪识别结果的准确性。54.本发明实施例在将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果之前，步骤流程如图3所示，具体如下：55.步骤301，将历史用户的语音数据对应的语音情绪识别结果作为样本数据，构建第二训练集和第二测试集。56.步骤302，利用第二训练集对机器学习模型进行训练，得到语音情绪识别模型。57.步骤303，利用第二测试集对语音情绪识别模型进行测试。58.上述方案，利用第二训练集对机器学习模型进行训练，得到语音情绪识别模型，通过语音情绪识别模型识别目标用户的情绪，提高了语音情绪识别结果的准确性。59.本发明实施例在步骤105中，根据第一人脸情绪识别结果以及第二人脸情绪识别结果，确定人脸情绪识别结果差值；60.根据人脸情绪识别结果差值，确定目标用户的人脸情绪变化值。61.举例来说，第一人脸情绪识别结果为60，第二人脸情绪识别结果为80，由此确定人脸情绪识别结果差值为20，即目标用户的人脸情绪变化值为20。62.比如，第一人脸情绪识别结果为60，第二人脸情绪识别结果为50，由此确定人脸情绪识别结果差值为-10，即目标用户的人脸情绪变化值为-10。63.上述方案，根据人脸情绪识别结果差值，确定目标用户的人脸情绪变化值，避免了目标用户初始情绪较差带来的银行服务质量的误判，提高了银行服务质量反馈的准确性。64.本发明实施例在步骤109中，根据第一语音情绪识别结果以及第二语音情绪识别结果，确定语音情绪识别结果差值；65.根据语音情绪识别结果差值，确定目标用户的语音情绪变化值。66.举例来说，第一语音情绪识别结果为70，第二语音情绪识别结果为80，由此确定语音情绪识别结果差值为10，即目标用户的语音情绪变化值为10。67.比如，第一语音情绪识别结果为80，第二语音情绪识别结果为50，由此确定语音情绪识别结果差值为-30，即目标用户的语音情绪变化值为-30。68.上述方案，根据语音情绪识别结果差值，确定目标用户的语音情绪变化值，避免了目标用户初始情绪较差带来的银行服务质量的误判，提高了银行服务质量反馈的准确性。69.本发明实施例在步骤110中，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果，步骤流程如图4所示，具体如下：70.步骤401，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的综合情绪变化值。71.在一种可能的实施方式中，根据预设的权重分别对人脸情绪变化值以及语音情绪变化值加权，得到目标用户对应的综合情绪变化值。72.步骤402，根据预设的综合情绪变化值与银行服务质量反馈结果的关系确定银行服务质量反馈结果。73.举例来说，综合情绪变化值小于-5时，银行服务质量反馈结果为非常不满意；综合情绪变化值为-5至-1时，银行服务质量反馈结果为不满意；综合情绪变化值为0至5时，银行服务质量反馈结果为满意；综合情绪变化值大于5时，银行服务质量反馈结果为非常满意。74.上述方案，根据预设的综合情绪变化值与银行服务质量反馈结果的关系确定银行服务质量反馈结果，同时考虑了人脸情绪识别及语音情绪识别，提高了银行服务质量反馈的准确性。75.本发明实施例中还提供了一种银行服务质量反馈装置，如下面的实施例所述。该装置如图5所示，所述装置包括：76.获取模块501，用于采集目标用户的人脸视频数据；77.人脸情绪识别模块502，用于根据所述人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据；所述第一时间帧对应银行服务开始时刻；所述第二时间帧对应银行服务结束时刻；将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果；所述人脸情绪识别模型为利用历史用户的人脸图像数据及对应的人脸情绪识别结果，对机器学习模型进行训练后得到；将第二人脸图像数据输入至人脸情绪识别模型，得到第二人脸图像数据对应的第二人脸情绪识别结果；根据所述第一人脸情绪识别结果以及所述第二人脸情绪识别结果确定目标用户的人脸情绪变化值；78.语音情绪识别模块503，用于确定目标用户所处环境中：第一时间帧所处第一时间段内的第一语音数据，以及第二时间帧所处第二时间段内的第二语音数据；将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果；所述语音情绪识别模型为利用历史用户的语音数据及对应的语音情绪识别结果，对机器学习模型进行训练后得到；将第二语音数据输入至语音情绪识别模型，得到第二语音数据对应的第二语音情绪识别结果；根据所述第一语音情绪识别结果以及所述第二语音情绪识别结果确定目标用户的语音情绪变化值；79.银行服务质量反馈模块504，用于根据所述人脸情绪变化值以及所述语音情绪变化值确定目标用户对应的银行服务质量反馈结果。80.本发明实施例中，所述人脸情绪识别模块502还用于：81.在将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果之前，将历史用户的人脸图像数据及对应的人脸情绪识别结果作为样本数据，构建第一训练集和第一测试集；82.利用第一训练集对机器学习模型进行训练，得到所述人脸情绪识别模型；83.利用第一测试集对所述人脸情绪识别模型进行测试。84.本发明实施例中，所述语音情绪识别模块503还用于：85.在将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果之前，将历史用户的语音数据对应的语音情绪识别结果作为样本数据，构建第二训练集和第二测试集；86.利用第二训练集对机器学习模型进行训练，得到所述语音情绪识别模型；87.利用第二测试集对所述语音情绪识别模型进行测试。88.本发明实施例中，所述人脸情绪识别模块502具体用于：89.根据所述第一人脸情绪识别结果以及所述第二人脸情绪识别结果，确定人脸情绪识别结果差值；90.根据所述人脸情绪识别结果差值，确定目标用户的人脸情绪变化值。91.本发明实施例中，所述银行服务质量反馈模块504具体用于：92.根据所述人脸情绪变化值以及所述语音情绪变化值确定目标用户对应的综合情绪变化值；93.根据预设的综合情绪变化值与银行服务质量反馈结果的关系确定银行服务质量反馈结果。94.由于该装置解决问题的原理与银行服务质量反馈方法相似，因此该装置的实施可以参见银行服务质量反馈方法的实施，重复之处不再赘述。95.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述银行服务质量反馈方法。96.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述银行服务质量反馈方法。97.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述银行服务质量反馈方法。98.本发明实施例中，采集目标用户的人脸视频数据，根据人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的第二人脸图像数据，将第一人脸图像数据输入至人脸情绪识别模型，得到第一人脸图像数据对应的第一人脸情绪识别结果，将第二人脸图像数据输入至人脸情绪识别模型，得到第二人脸图像数据对应的第二人脸情绪识别结果，根据第一人脸情绪识别结果以及第二人脸情绪识别结果确定目标用户的人脸情绪变化值，确定第一时间段下的第一语音数据以及第二时间段下的第二语音数据，将第一语音数据输入至语音情绪识别模型，得到第一语音数据对应的第一语音情绪识别结果，将第二语音数据输入至语音情绪识别模型，得到第二语音数据对应的第二语音情绪识别结果，根据第一语音情绪识别结果以及第二语音情绪识别结果确定目标用户的语音情绪变化值，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果，与现有技术相比，通过人脸情绪识别模型确定银行服务前后目标用户的人脸情绪变化值，通过语音识别模型确定银行服务前后目标用户的语音情绪变化值，根据人脸情绪变化值以及语音情绪变化值确定目标用户对应的银行服务质量反馈结果，实现了自动反馈银行服务质量，减少用户操作，提高了效率，提高了银行服务质量反馈的实时性及准确性。99.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。100.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。101.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。102.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。103.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!