一种音频同步采集方法、装置及终端设备与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及语音处理技术领域，特别涉及一种音频同步采集方法、装置及终端设备。背景技术：2.当前远程会议及远程通话已经成为协同工作的一个重要组成部分，很多设备也开始支持远程通话功能。而远程通话功能的实现需要设备带有对应的拾音麦克。一般来说，拾音麦克采集的语音并不是直接被发送到对方的设备，而是经过如降噪，去混响，回声消除等一系列的处理(一般称为前处理)，然后再将处理后的语音发送到对方的设备。这样对方听到的语音不会有其他杂音影响。也就是说，语音的前处理效果的好坏决定了对方听到的语音效果，若前处理效果不佳将直接影响用户体验。因此，在前处理算法的开发过程中要进行必要的主客观测试。3.其中，主客观测试可以包括双讲性能测试，在进行该测试时，需要严格控制远端信号的播放时机与近端说话人的说话时机，否则会导致测试结果偏差。但在实际测试中，远端信号通常通过被测设备进行播放，近端信号则由与被测设备在同一个房间的另一个设备(一般为人工嘴)进行播放。被测设备一般为安卓系统或者视窗操作(windows)系统，而人工嘴可以通过个人计算机(personal computer，pc)控制播放。在实际操作中，被测设备在用户按下播放按钮之后到实际音频播放出来开始的时间并不是固定的，而是受被测设备当前系统负载情况影响的。因此无法直接控制实际音频播放出来的时机。4.也即，现有技术中存在不同设备之间的播放的音频无法同步采集，从而导致双讲性能测试的结果出现偏差的问题。技术实现要素：5.本技术实施例提供了一种音频同步采集方法、装置及终端设备，用以对不同设备之间的播放的音频实现同步采集。6.第一方面，本技术实施例提供了一种音频同步采集方法，包括：采集近端设备播放的第一音频数据和远端设备播放的第二音频数据；所述第一音频数据包括第一参考信号和所述近端设备的第一待播放音频数据，所述第二音频数据包括第二参考信号和所述远端设备的第二待播放音频数据；所述第一参考信号与所述第二参考信号的频率不同；在启动播放时，所述第一参考信号与所述第一待播放音频数据之间的时间间隔，和，第二参考信号与所述第二待播放音频数据之间的时间间隔相同；确定所述第一参考信号的采集时间与所述第二参考信号的采集时间的第一时间差；根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，使得所述第一待播放音频数据的采集时间与所述第二待播放音频数据的采集时间同步。7.基于上述方案，通过采集第一参考信号和第二参考信号可以确定近端设备的第一待播放音频数据和远端设备的第二待播放音频数据之间的第一时间差，根据第一时间差可以调整第一参考信号与第一待播放音频数据之间的时间间隔，从而对不同设备之间的播放的音频实现同步采集。通过该方法可以自动化地计算不同设备播放的音频数据之间的延迟，无需人工干预。8.一种可能的实现方式中，所述根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，包括：若所述第一参考信号的采集时间先于所述第二参考信号的采集时间，则在所述第一参考信号与所述第一待播放音频数据之间插入时长为所述第一时间差的空白音频数据。9.一种可能的实现方式中，所述根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，包括：若所述第二参考信号的采集时间先于所述第一参考信号的采集时间，则删除所述第一参考信号与所述第一待播放音频数据之间时长为所述第一时间差的数据。10.一种可能的实现方式中，第一音频数据还包括n个第三参考信号，以及所述第二音频数据还包括n个第四参考信号，n为正整数；所述n个第三参考信号位于所述第一参考信号与所述第一待播放音频数据之间，所述n个第四参考信号位于所述第二参考信号与所述第二待播放音频数据之间；所述n个第三参考信号与所述n个第四参考信号一一对应，第一时间间隔与第二时间间隔的差值小于或者等于所述第三参考信号的时长，所述第三参考信号的时长与所述第四参考信号的时长相同，所述第一时间间隔为所述第三参考信号与第一参考信号的时间间隔，所述第二时间间隔为所述第三参考信号对应的第四参考信号与所述第二参考信号的时间间隔；所述方法还包括：确定n个第三参考信号中每个第三参考信号的采集时间与对应的第四参考信号的采集时间的第二时间差；根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，包括：根据所述第一时间差和n个所述第二时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔。11.一种可能的实现方式中，n是根据所述第三参考信号的时长确定的，或者n是根据所述第四参考信号的时长确定的。12.一种可能的实现方式中，所述根据所述第一时间差和n个所述第二时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，包括：从n个所述第二时间差中确定m个第三时间差；所述第三时间差大于所述第一时间差与所述第三参考信号的时长的和，m为大于或等于0且小于或等于n的整数；根据所述第三时间差的数量确定所述近端设备与所述远端设备的时延偏差；根据所述时延偏差和所述第一时间差调整第n个所述第三参考信号与所述第一待播放音频数据之间的时间间隔。13.一种可能的实现方式中，所述n个第三参考信号中任意相邻两个所述第三参考信号之间的时间间隔为参考间隔值；所述n个第四参考信号中任意相邻两个第四参考信号之间的时间间隔各不相同，且所述任意相邻两个第四参考信号之间的时间间隔是根据所述第四参考信号的时长和所述参考间隔值确定的；或者，所述n个第四参考信号中任意相邻两个所述第四参考信号之间的时间间隔为参考间隔值；所述n个第三参考信号中任意相邻两个第三参考信号之间的时间间隔各不相同，且所述任意相邻两个第三参考信号之间的时间间隔是根据所述第三参考信号的时长和所述参考间隔值确定的。14.第二方面，本技术实施例提供了一种音频同步采集装置，包括：采集单元，用于采集近端设备播放的第一音频数据，以及采集远端设备播放的第二音频数据，所述第一音频数据包括第一参考信号以及所述近端设备的第一待播放音频数据；所述第二音频数据包括第二参考信号以及所述远端设备的第二待播放音频数据；所述第一参考信号与所述第二参考信号的频率不同；在启动播放时，所述第一参考信号与所述第一待播放音频数据之间的时间间隔，和，第二参考信号与所述第二待播放音频数据之间的时间间隔相同；15.处理单元，用于确定所述第一参考信号的采集时间与所述第二参考信号的采集时间的第一时间差；根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，使得所述第一待播放音频数据的采集时间与所述第二待播放音频数据的采集时间同步。16.一种可能的实现方式中，所述处理单元根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔时，还用于：若所述第一参考信号的采集时间先于所述第二参考信号的采集时间，则在所述第一参考信号与所述第一待播放音频数据之间插入时长为所述第一时间差的空白音频数据。17.一种可能的实现方式中，所述处理单元根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔时，还用于：若所述第二参考信号的采集时间先于所述第一参考信号的采集时间，则删除所述第一参考信号与所述第一待播放音频数据之间时长为所述第一时间差的数据。18.一种可能的实现方式中，第一音频数据还包括n个第三参考信号，以及所述第二音频数据还包括n个第四参考信号，n为正整数；所述n个第三参考信号位于所述第一参考信号与所述第一待播放音频数据之间，所述n个第四参考信号位于所述第二参考信号与所述第二待播放音频数据之间；所述n个第三参考信号与所述n个第四参考信号一一对应，第一时间间隔与第二时间间隔的差值小于或者等于所述第三参考信号的时长，所述第三参考信号的时长与所述第四参考信号的时长相同，所述第一时间间隔为所述第三参考信号与第一参考信号的时间间隔，所述第二时间间隔为所述第三参考信号对应的第四参考信号与所述第二参考信号的时间间隔。所述处理单元，还用于：确定n个第三参考信号中每个第三参考信号的采集时间与对应的第四参考信号的采集时间的第二时间差；根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，包括：根据所述第一时间差和n个所述第二时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔。19.一种可能的实现方式中，n是根据所述第三参考信号的时长确定的，或者n是根据所述第四参考信号的时长确定的。20.一种可能的实现方式中，所述处理单元根据所述第一时间差和n个所述第二时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔时，还用于：从n个所述第二时间差中确定m个第三时间差；所述第三时间差大于所述第一时间差与所述第三参考信号的时长的和，m为大于或等于0且小于或等于n的整数；根据所述第三时间差的数量确定所述近端设备与所述远端设备的时延偏差；根据所述时延偏差和所述第一时间差调整第n个所述第三参考信号与所述第一待播放音频数据之间的时间间隔。21.一种可能的实现方式中，所述n个第三参考信号中任意相邻两个所述第三参考信号之间的时间间隔为参考间隔值；所述n个第四参考信号中任意相邻两个第四参考信号之间的时间间隔各不相同，且所述任意相邻两个第四参考信号之间的时间间隔是根据所述第四参考信号的时长和所述参考间隔值确定的；或者，所述n个第四参考信号中任意相邻两个所述第四参考信号之间的时间间隔为参考间隔值；所述n个第三参考信号中任意相邻两个第三参考信号之间的时间间隔各不相同，且所述任意相邻两个第三参考信号之间的时间间隔是根据所述第三参考信号的时长和所述参考间隔值确定的。22.第三方面，本技术实施例提供了一种终端设备，包括：23.存储器，用于存储计算机指令；24.处理器，与所述存储器连接，用于执行所述存储器中的计算机指令，且在执行所述计算机指令时实现如第一方面中任一项所述的方法。25.第四方面，本技术实施例提供了一种计算机可读存储介质，包括：26.所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面中任一项所述的方法。27.第五方面，本技术提供一种计算机程序产品，包括计算机程序；28.所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的方法。29.上述第二方面至第五方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。附图说明30.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例。31.图1为本技术实施例提供的音频对齐效果示意图；32.图2为本技术实施例提供的音频同步采集方法应用的系统结构示意图；33.图3为本技术实施例提供的一种终端设备的结构示意图；34.图4为本技术实施例提供的一种终端设备的软件结构框图；35.图5为本技术实施例提供的音频同步采集方法的示例性流程图之一；36.图6a为本技术实施例提供的第一参考信号的采集时间与第二参考信号的采集时间示意图之一；37.图6b为本技术实施例提供的第一参考信号的采集时间与第二参考信号的采集时间示意图之一；38.图7a为本技术实施例提供的同步前的第一参考信号与第二参考信号示意图之一；39.图7b为本技术实施例提供的同步后的第一参考信号与第二参考信号示意图之一；40.图8a为本技术实施例提供的同步前的第一参考信号与第二参考信号示意图之一；41.图8b为本技术实施例提供的同步后的第一参考信号与第二参考信号示意图之一；42.图9为本技术实施例提供的第三参考信号与第四参考信号示意图之一；43.图10为本技术实施例提供的第三参考信号与第四参考信号示意图之一；44.图11为本技术实施例提供的第三参考信号与第四参考信号示意图之一；45.图12为本技术实施例提供的近端参考信号与远端参考信号示意图；46.图13a为本技术实施例提供的音频同步采集方法的示例性流程图之一；47.图13b为本技术实施例提供的音频同步采集方法的示例性流程图之一；48.图13c为本技术实施例提供的音频同步采集方法的示例性流程图之一；49.图13d为本技术实施例提供的音频同步采集方法的示例性流程图之一；50.图13e为本技术实施例提供的音频同步采集方法的示例性流程图之一；51.图14为本技术实施例提供的一种音频同步采集装置示意图；52.图15为本技术实施例提供的一种终端设备的结构示意图。具体实施方式53.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术技术方案的一部分实施例，而不是全部的实施例。基于本技术文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术技术方案保护的范围。54.本技术实施例中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本技术实施例不做限制。55.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。56.当前远程会议及远程通话已经成为协同工作的一个重要组成部分，很多设备也开始支持远程通话功能。但通话时，设备采集的语音若直接被发送到对方的设备中，该语音中通常会包括回声、噪声等干扰，难以分辨通话方的真实语音。其中，通话中的回声是指，在通话过程中，本机喇叭播放出来的声音被本机的麦克收到，又被发送到对方，导致对方听到了自己的声音。因此，一般采集的语音并不是直接被发送到对方的设备，而是经过一系列前处理如降噪，去混响，回声消除等，然后再将处理后的语音发送到对方的设备。其中，回声消除又分单讲和双讲。单讲是指只有远端说话人在讲话。此时要求远端说话人说话过程中不能在听筒中听到自己的回声。双讲是指远端说话人和使用设备的近端说话人同时说话。此时要求远端说话人能听到近端说话人的声音，同时又不能听到自己的回声。57.通过对被测设备进行双讲性能测试确定被测设备回声消除的效果时，需要严格控制远端说话人与近端说话人的说话时机，否则会导致测试结果偏差。参见图1为本技术实施例提供的音频对齐效果示意图。如图1所示a、b为两种近端信号的音频与远端信号的音频对齐的情况，a表示近端信号结束播放后开始播放远端信号，b表示远端信号结束播放后开始播放近端信号。在实际测试中，远端信号通常由被测设备进行播放，近端信号通常由与被测设备在同一个房间的另一个设备(一般为人工嘴)进行播放。58.为了实现近端信号与远端信号的对齐，首先需要对用于进行测试的两个不同设备播放的音频进行同步采集。其中，被测设备一般为系统或者windows系统，由于被测设备在用户按下播放按钮之后到实际声音播放出来开始的时间是受当前系统负载情况影响的，并不是固定的。因此无法直接控制被测设备播放实际音频的时机。也就是说，目前存在对不同设备播放的音频数据无法同步采集的技术问题。59.有鉴于此，本技术提供了一种音频同步采集方法。该方法通过在近端设备的待播放音频数据和远端设备的待播放音频数据前分别添加不同频率参考信号，构成近端设备播放的音频数据和远端设备播放的音频数据。终端设备可以在采集近端设备播放的音频数据和远端设备播放的音频数据时，通过采集到的音频数据的频率确定该音频数据所属的设备，从而确定采集到近端设备的待播放音频数据的时间与采集到远端设备的待播放音频数据的时间之间的时间差。然后终端设备可以根据该时间差调整近端设备播放的音频数据中参考信号与待播放音频数据之间的时间间隔，以使近端设备的待播放音频数据的采集时间与远端设备的待播放音频数据的采集时间同步。60.参见图2为本技术实施例提供的音频同步采集方法应用的系统。系统200可以包括远端设备201，收音设备202，终端设备203，播放控制设备204，及近端设备205组成。其中，远端设备201用于播放远端音频数据，可以是包括包含多麦克拾音阵列及双声道喇叭的终端设备，如智能手机、计算机、平板电脑等终端设备，本技术对此不作限定。收音设备202可以与终端设备203相连，用于采集远端设备201播放的远端音频数据以及近端设备205播放的音频数据，收音设备202可以为外部麦克。终端设备203可以包括音频采集计算模块2031和命令控制模块2032。音频采集计算模块2031可以用于对收音设备202采集的音频数据进行分析、计算。命令控制模块2032可以响应于用户播放近端音频数据的操作，向播放控制设备发送用于指示近端设备205播放近端音频数据的指令。播放控制设备204用于接收终端设备203的指令控制近端设备205播放近端音频数据。近端设备205用于播放近端音频数据，例如可以是人工嘴等设备。61.图3示出了一种终端设备300的结构示意图，图2所示的终端设备203可以是图3中的终端设备300。应该理解的是，图3所示终端设备300仅是一个范例，并且终端设备300可以具有比图3中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。62.图3中示例性示出了根据示例性实施例中终端设备300的硬件配置框图。如图3所示，终端设备300包括：射频(radio frequency，rf)电路310、存储器320、显示单元330、摄像头340、传感器350、音频电路360、无线保真(wireless fidelity，wi-fi)模块370、处理器380、蓝牙模块381、以及电源390等部件。63.rf电路310可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器380处理；可以将上行数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。64.存储器320可用于存储软件程序及数据。处理器380通过运行存储在存储器320的软件程序或数据，从而执行终端设备300的各种功能以及数据处理。存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器320存储有使得终端设备300能运行的操作系统。本技术中存储器320可以存储操作系统及各种应用程序，还可以存储执行本技术实施例音频同步采集方法的程序代码。65.显示单元330可用于接收输入的数字或字符信息，产生与终端设备300的用户设置以及功能控制有关的信号输入，具体地，显示单元330可以包括设置在终端设备300正面的触摸屏331，可收集用户在其上或附近的触摸操作，例如点击按钮。66.显示单元330还可用于显示由用户输入的信息或提供给用户的信息以及终端设备300的各种菜单的图形用户界面(graphical user interface，gui)。具体地，显示单元330可以包括设置在终端设备300正面的显示屏332。其中，显示屏332可以采用液晶显示器、发光二极管等形式来配置。67.其中，触摸屏331可以覆盖在显示屏332之上，也可以将触摸屏331与显示屏332集成而实现终端设备300的输入和输出功能，集成后可以简称触摸显示屏。本技术中显示单元330可以显示应用程序以及对应的操作步骤。68.摄像头340可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器380转换成数字图像信号。69.终端设备300还可以包括至少一种传感器350，比如加速度传感器351、距离传感器352、指纹传感器353、温度传感器354。终端设备300还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。70.音频电路360、扬声器361、麦克风362可提供用户与终端设备300之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出。终端设备300还可配置音量按钮，用于调节声音信号的音量，还可以用于组合其他按钮，调整封闭区域。另一方面，麦克风362将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出至rf电路310以发送给比如另一终端设备，或者将音频数据输出至存储器320以便进一步处理。71.wi-fi属于短距离无线传输技术，终端设备300可以通过wi-fi模块370帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。72.处理器380是终端设备300的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器320内的软件程序，以及调用存储在存储器320内的数据，执行终端设备300的各种功能和处理数据。在一些实施例中，处理器380可包括一个或多个处理单元；处理器380还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器380中。本技术中处理器380可以运行操作系统、应用程序、用户界面显示及触控响应，以及本技术实施例的音频同步采集方法。另外，处理器380与显示单元330耦接。73.蓝牙模块381，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备300可以通过蓝牙模块381与同样具备蓝牙模块的可穿戴终端设备(例如智能手表)建立蓝牙连接，从而进行数据交互。74.终端设备300还包括给各个部件供电的电源390(比如电池)。电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。终端设备300还可配置有电源按钮，用于终端设备的开机和关机，以及锁屏等功能。75.参见图4是本技术实施例提供的一种终端设备300的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，可将系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。76.应用程序层可以包括一系列应用程序包。如图4所示，应用程序包可以包括电话、彩信，wifi，微信，信息，闹钟，图库，日历，wlan等应用程序。77.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。如图4所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿、短信息等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信息通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供终端设备300的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息(例如短信息的消息内容)，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。78.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2d(一种动画方式)图形引擎是2d绘图的绘图引擎。79.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。80.需要说明的是，本技术实施例中的终端设备300可以为包括但不限于智能手机、平板电脑、笔记本电脑等终端设备，本技术对此不作限定。81.参阅图5为本技术实施例提供的一种音频同步采集方法的示例性流程图之一，可以应用于如图2所示的终端设备203或如图3所示的终端设备300中，该方法可以包括以下流程：82.s501，采集近端设备播放的第一音频数据和远端设备播放的第二音频数据。83.终端设备可以通过连接的收音设备采集近端设备播放的第一音频数据和远端设备播放的第二音频数据。其中，第一音频数据可以为上述近端音频数据，可以包括第一参考信号以及近端设备的第一待播放音频数据。第二音频数据可以为上述远端音频数据，可以包括第二参考信号以及远端设备的第二待播放音频数据。为了提高音频数据采集的准确率，收音设备设置比较高的采样率，例如可以设置采样率为48khz。84.在一种可能的实现方式中，第一音频数据的启动播放时间与第二音频数据的启动播放时间近似相同。并且在启动播放时，第一参考信号与第一待播放音频数据之间的时间间隔和第二参考信号与第二待播放音频数据之间的时间间隔相同。其中，第一音频数据的启动播放时间可以是终端设备向播放控制设备发送指令的时间，该指令用于指示近端设备播放第一音频数据。第二音频数据的启动播放时间可以是控制远端设备播放第二音频数据的时间。需要说明的是，第一音频数据的启动播放时间与第二音频数据的启动播放时间也可以是完全相同。85.为了区分第一待播放音频和第二待播放音频，第一参考信号与第二参考信号的频率不同。例如，第一参考信号的频率可以为2khz，第二参考信号的频率可以为3khz。86.s502，确定第一参考信号的采集时间与第二参考信号的采集时间的第一时间差。87.终端设备中的音频采集计算模块可以根据采集到的音频数据的频率确定采集到的是第一参考信号或第二参考信号，从而可以确定第一参考信号的采集时间与第二参考信号的采集时间的第一时间差。举例来说，假设第一参考信号的频率可以为2khz，第二参考信号的频率可以为3khz。若音频采集计算模块确定采集到的音频数据的频率为2khz，则终端设备可以确定采集到的音频数据为第一参考信号。音频采集计算模块确定采集到的音频数据的频率为2khz的时间为第一参考信号的采集时间。若音频采集计算模块确定采集到的音频数据的频率为3khz，则终端设备可以确定采集到的音频数据为第二参考信号。音频采集计算模块确定采集到的音频数据的频率为3khz的时间为第二参考信号的采集时间。88.在一个示例中，终端设备中的音频采集计算模块确定采集到的音频数据的频率时，可以根据第一参考信号的时长和第二参考信号的时长利用快速傅里叶变换(fast fourier transformation，fft)，计算采集到的音频数据的频率。其中，第一参考信号的时长和第二参考信号的时长相同，并且第一参考信号的时长和第二参考信号的时长可以根据实际情况进行设置，例如可以为4ms、5ms等，本技术对此不作限定。89.一种可能的实现方式中，确定第一参考信号的采集时间与第二参考信号的采集时间的第一时间差时，可以在首次采集到第一参考信号或第二参考信号时，开始计时，直到采集到与首次采集到的参考信号不同的第二参考信号或第一参考信号时结束计时，根据计时结果可以确定第一时间差。举例来说，假设终端设备首次采集到的参考信号为第一参考信号，则在采集到第一参考信号时开始计时，直到终端设备采集到第二参考信号时，结束计时。若计时结果为100ms，则第一时间差为100ms。90.另一种可能的实现方式中，确定第一参考信号的采集时间与第二参考信号的采集时间的第一时间差时，可以在首次采集到第一参考信号或第二参考信号的音频帧设置为1，并记录采集到与首次采集到的参考信号不同的第二参考信号或第一参考信号时与音频帧设置为1时间隔的音频帧的数量，根据音频帧的数量可以根据音频帧的时长与音频帧数量的乘积确定第一时间差。举例来说，假设终端设备首次采集到的参考信号为第一参考信号，则将采集到第一参考信号的音频帧设置为1，若间隔100音频帧后采集到第二参考信号。若音频帧的时长为4ms，则第一时间差为400ms。需要说明的是，音频帧的时长可以与第一参考信号的时长或第二参考信号的时长相同，音频帧的时长也可以与第一参考信号的时长或第二参考信号的时长不相同，本技术对此不作限定。91.s503，根据第一时间差调整第一参考信号与第一待播放音频数据之间的时间间隔。92.由于远端设备以及播放控制设备的播放音频数据时，是通过音频解码模块。将内存特定区域的音频数据按照特定格式进行播放。并且被播放的音频数据并不是一次性被发送到音频解码模块，而是按照一定的时间一定的长度来发送，也就是逐帧进行发送。比如播放的一帧为10ms，则需要在10ms时间内再次发送入下一个10ms的数据到音频解码模块，这样对于播放来说就是持续播放了20ms的音频。因此终端设备可以根据s502确定的第一时间差调整第一参考信号与第一待播放音频数据之间的时间间隔。使得第一待播放音频数据的采集时间与第二待播放音频数据的采集时间同步。93.基于上述方案，通过采集第一参考信号和第二参考信号可以确定近端设备的第一待播放音频数据和远端设备的第二待播放音频数据之间的第一时间差，根据第一时间差可以调整第一参考信号与第一待播放音频数据之间的时间间隔，从而实现不同设备播放的音频数据的采集时间同步。通过该方法可以自动化地计算不同设备播放的音频数据之间的延迟，无需人工干预。94.在一些实施例中，第一参考信号的采集时间与第二参考信号的采集时间可以包括以下三种情况：95.情况一，第一参考信号的采集时间先于第二参考信号的采集时间。参见图6a和图6b为本技术实施例提供的第一参考信号的采集时间与第二参考信号的采集时间示意图。如图6a所示终端设备采集到第一参考信号后在一段时间间隔后采集到第二参考信号。由于第一参考信号与第一待播放音频数据之间的时间间隔和第二参考信号与第二待播放音频数据之间的时间间隔相同，因此这种情况可以说明近端设备的第一待播放音频数据先于第二待播放音频数据，终端设备可以延迟第一待播放音频数据的播放时间以使第一待播放音频数据的采集时间与第二待播放音频数据的采集时间同步。96.在一个示例中，终端设备延迟第一待播放音频数据的播放时间时，可以在第一参考信号与所第一待播放音频数据之间插入时长为第一时间差的空白音频数据。97.举例来说，参见图7a为本技术实施例提供的同步前的第一参考信号与第二参考信号示意图之一。图7a中第一参考信号的频率为2khz，第二参考信号的频率为3khz。假设终端设备采集到第一参考信号400ms后，采集到第二参考信号。则可以在第一参考信号与所第一待播放音频数据之间插入时长为400ms的空白音频数据。参见图7b为本技术实施例提供的同步后的第一参考信号与第二参考信号示意图之一。假设音频帧的时长为4ms，则可以在第一参考信号与所第一待播放音频数据之间插入100帧的空白音频数据。如图7b所示，插入0-99帧的空白数据之后，相当于延迟了第一待播放音频数据的播放时间，从而使得第一待播放音频数据的采集时间与第二待播放音频数据的采集时间同步。98.情况二，第一参考信号的采集时间与第二参考信号的采集时间相同。这种情况说明第一待播放音频数据的采集时间与第二待播放音频数据的采集时间已经同步，无需执行任何操作。99.情况三，第二参考信号的采集时间先于第一参考信号的采集时间。如图6b所示终端设备采集到第二参考信号后在一段时间间隔后采集到第一参考信号。由于第一参考信号与第一待播放音频数据之间的时间间隔和第二参考信号与第二待播放音频数据之间的时间间隔相同，因此这种情况可以说明近端设备的第二待播放音频数据先于第一待播放音频数据，终端设备可以将第一待播放音频数据的播放时间提前以使第一待播放音频数据的采集时间与第二待播放音频数据的采集时间同步。100.在一个示例中，终端设备将第一待播放音频数据的播放时间提前时，可以删除第一参考信号与第一待播放音频数据之间时长为第一时间差的数据。101.在另一个示例中，终端设备将第一待播放音频数据的播放时间提前时，还可以控制播放控制设备跳过第一参考信号与第一待播放音频数据之间时长为第一时间差的数据进行播放。102.举例来说，参见图8a为本技术实施例提供的同步前的第一参考信号与第二参考信号示意图之一。图8a中第一参考信号的频率为2khz，第二参考信号的频率为3khz。假设终端设备采集到第二参考信号100ms后，采集到第二参考信号。其中，第一参考信号与第一待播放音频数据之间的时间间隔为x，单位为ms。参见图8b为本技术实施例提供的同步后的第一参考信号与第二参考信号示意图之一。如图8b所示，终端设备可以通过控制播放控制设备跳过时长为100ms的数据进行播放。也即，终端设备将第一参考信号与第一待播放音频数据之间的时间间隔调整为(x-100)ms，相当于将第一待播放音频数据的播放时间提前了，从而使得第一待播放音频数据的采集时间与第二待播放音频数据的采集时间同步。103.一种可能的实现方式中，由于收音设备、远端设备和近端设备为三个不同的设备，因此无法控制各个设备内部进行音频处理时的帧同步。为了提高第一待播放音频数据的采集时间与第二待播放音频数据的采集时间同步的精度，可以确定各个设备内部进行音频处理时的偏差，根据该偏差和上述终端设备确定的第一时间差调整第一参考信号与第一待播放音频数据之间的时间间隔。104.具体地，在第一音频数据中的第一参考信号与第一待播放音频数据之间还可以加入n个第三参考信号。在第二音频数据中的第二参考信号与第二待播放音频数据之间还包括n个第四参考信号。终端设备在采集近端设备播放的第一音频数据和远端设备播放的第二音频数据之后，还可以确定n个第三参考信号中每个第三参考信号的采集时间与对应的第四参考信号的采集时间的第二时间差。终端设备可以是根据第一时间差和n个第二时间差调整第一参考信号与第一待播放音频数据之间的时间间隔。105.其中，n为正整数。n个第三参考信号与n个第四参考信号一一对应，第三参考信号的时长与第四参考信号的时长相同，且第三参考信号的时长与第一参考信号的时长相同，第三参考信号的频率与第一参考信号的频率也相同，第四参考信号的频率与第二参考信号的频率也相同。第一时间间隔与第二时间间隔的差值小于或者等于第三参考信号的时长，第一时间间隔为第三参考信号与第一参考信号的时间间隔，第二时间间隔为第三参考信号对应的第四参考信号与二参考信号的时间间隔。106.举例来说，参见图9为本技术实施例提供的第三参考信号与第四参考信号示意图之一。图9中假设n为3，第三参考信号的时长和第四参考信号的时长均为4ms。则第一音频数据中包括3个第三参考信号，按照与第一参考信号之间的时间间隔从小到大依次为信号0，信号1和信号2。第二音频数据中包括3个第四参考信号，按照与第二参考信号之间的时间间隔从小到大依次为信号3，信号4和信号5。则信号0对应的第四参考信号为信号3，信号1对应的第四参考信号为信号4，信号2对应的第四参考信号为信号5。因此，信号0与第一参考信号的时间间隔为第一时间间隔时，信号3与第二参考信号的时间间隔为第二时间间隔。则第一时间间隔与第二时间间隔的差值小于或者等于4ms。107.一种可能的实现方式中，上述n可以是根据第三参考信号的时长确定的，或者n是根据第四参考信号的时长确定的。108.在一个示例中，n可以满足公式(1)。109.n＝2*(n-1)ꢀꢀꢀꢀ公式(1)110.式中，n为第三参考信号的时长或第四参考信号的时长。111.举例来说，当第三参考信号的时长为4ms时，第一音频数据中可以包括6个第三参考信号。当第三参考信号的时长为5ms时，第一音频数据中可以包括8个第三参考信号。112.一种可能的实现方式中，终端设备根据第一时间差和n个第二时间差调整第一参考信号与第一待播放音频数据之间的时间间隔时，可以从n个第二时间差中确定m个第三时间差。根据第三时间差的数量确定近端设备与远端设备的时延偏差。再根据时延偏差和第一时间差调整第n个第三参考信号与第一待播放音频数据之间的时间间隔。其中，第三时间差的绝对值大于第一时间差与第三参考信号的时长的和，m为大于或等于0且小于或等于n的整数。应了解，调整第n个第三参考信号与第一待播放音频数据之间的时间间隔的方法可以参见上述调整第一参考信号与第一待播放音频数据之间的时间间隔的方法，在此不再赘述。113.举例来说，假设第一音频数据中包括6个第三参考信号，第二音频数据中包括6个第四参考信号，第一时间差为100ms，第三参考信号的时长为4ms。6个第二时间差的绝对值分别为：101ms、103ms、106ms、102ms、101ms、101ms。其中，106ms大于104ms，则可以确定106ms为第三时间差，也即从6个第二时间差可以确定1个第三时间差。则根据第三时间差的数量可以确定近端设备与远端设备的时延偏差为1ms。再根据时延偏差与第一时间差的和调整第6个第三参考信号与第一待播放音频数据之间的时间间隔。114.一种可能的实现方式中，n个第三参考信号中任意相邻两个第三参考信号之间的时间间隔为参考间隔值。n个第四参考信号中任意相邻两个第四参考信号之间的时间间隔各不相同，且任意相邻两个第四参考信号之间的时间间隔是根据第四参考信号的时长和参考间隔值确定的。115.在一个示例中，参见图10为本技术实施例提供的第三参考信号与第四参考信号示意图之一。如图10所示，假设第四参考信号的时长为n，参考间隔值为k。则每相邻两个第三参考信号之间的时间间隔为k。第1个第四参考信号与第二参考信号之间的时间间隔为k-1，后续每相邻两个第四参考信号之间的时间间隔依次为k-2，k-3，……，k+n，k+1，k+2，……，k+(n-1)-1。其中，第1个第四参考信号用于表示n个第四参考信号中与第一参考信号之间的时间间隔最短的第四参考信号。116.或者，n个第四参考信号中任意相邻两个第四参考信号之间的时间间隔为参考间隔值；n个第三参考信号中任意相邻两个第三参考信号之间的时间间隔各不相同，且任意相邻两个第三参考信号之间的时间间隔是根据第三参考信号的时长和参考间隔值确定的。117.需要说明的是，参考间隔值可以是根据经验或者实际情况设置的，但需要满足参考间隔值是第三参考信号的时长或第四参考信号的时长的倍数。例如第三参考信号的时长为4ms时，参考间隔值可以为200ms、240ms或320ms等，本技术对参考间隔值的取值不作具体限定。118.在一个示例中，参见图11为本技术实施例提供的第三参考信号与第四参考信号示意图之一。如图11所示，假设第三参考信号的时长为n，参考间隔值为k，则第1个第三参考信号与第一参考信号之间的时间间隔为k-1，后续每两个第三参考信号之间的时间间隔依次为k-2，k-3，……，k+n，k+1，k+2，……，k+(n-1)-1。每相邻两个第四参考信号之间的时间间隔为k。其中，第1个第三参考信号用于表示n个第三参考信号中与第一参考信号之间的时间间隔最短的第三参考信号。119.在一种可能的实现方式中，可以将第一参考信号和第三参考信号统称为近端参考信号，将第二参考信号和第四参考信号统称为远端参考信号。下面以第一时间差为0，第一音频数据中包括7个近端参考信号和第二音频数据中包括7个远端参考信号，且以每相邻两个近端参考信号之间的时间间隔为参考间隔值，收音设备采集的音频帧与近端设备的音频帧对齐为例，进行说明。参见图12为本技术实施例提供的近端参考信号与远端参考信号示意图。图12中假设参考间隔值为200ms。则每相邻两个远端参考信号之间的时间间隔为200ms。每相邻两个远端参考信号之间的时间间隔依次为199ms、198ms、197ms、204ms、201ms、202ms。a-l分别代表1ms的数据。图12中，为近端参考信号与远端参考信号中的efgh被收音设备采集到同一音频帧的情况，此时第0-6个近端参考信号与远端参考信号均可以同时被采集到。因此，可以确定此时的近端设备与远端设备的时延偏差为0。120.假设收音设备没有完全采集到近端参考信号完整的一帧，而是在采集到的1帧音频中包括有信号和无信号。121.在一个示例中，收音设备采集到的是bcde。如图12所示，由于bcde只有位于e的1ms的数据被采集到，而在bcde的下一帧fghi中有3ms被采集到，此时，终端设备会丢弃bcde，确定采集到的近端参考信号的音频帧为fghi。则采集第1个远端参考信号的时候，fghi处的fg可以被采集到数据。采集第2个远端参考信号的时候，fghi处的f可以被采集到数据。在采集第3个远端参考信号的时候，在fghi处无法采集到数据，但在fghi的前一音频帧bcde处可以采集到数据。在采集第4个远端信号的时候，在fghi处又可以重新采集到数据。由于7个远端参考信号中有1个远端信号无法在fghi处被采集到，且在fghi的前一音频帧处可以被采集到，因此可以确定远端设备与近端设备的时延偏差为1ms，且远端设备较近端设备提前了1ms。因此，终端设备根据第一时间差和n个第二时间差调整第一参考信号与第一待播放音频数据之间的时间间隔时，可以根据第一时间差与1ms的差值调整第一参考信号与第一待播放音频数据之间的时间间隔。122.在另一个示例中，收音设备采集到的是defg。如图12所示，则采集第1个远端参考信号的时候，defg处的defg均可以被采集到数据。采集第2个远端参考信号的时候，defg处的def可以被采集到数据。在采集第3个远端参考信号的时候，defg处的de可以被采集到数据。在采集第4个远端参考信号的时候，defg处的fg可以被采集到数据。在采集第5个远端参考信号的时候，defg处的g可以被采集到数据。在采集第6个远端参考信号的时候，在defg处无法采集到数据，但预计可以在defg的下一音频帧hijk处可以采集到数据。由于7个远端参考信号中有1个远端信号无法在defg处被采集到，且在defg的下一音频帧处可以被采集到，因此可以确定远端设备与近端设备的时延偏差为1ms，且远端设备较近端设备延迟了1ms。因此，终端设备根据第一时间差和n个第二时间差调整第一参考信号与第一待播放音频数据之间的时间间隔时，可以根据第一时间差与1ms的和调整第一参考信号与第一待播放音频数据之间的时间间隔。其他情况，以此类推，本技术不再赘述。123.一种可能的实现方式中，若第一时间差不为零，则可以根据第一时间差调整第三参考信号，再根据上述方法确定远端设备与近端设备之间是否有时延偏差。举例来说，假设第一参考信号的采集时间先于第二参考信号的采集时间。且第一时间差为100ms。则可以将每个第三参考信号延迟100ms后，再根据上述方法确定远端设备与近端设备之间的时延偏差。124.下面，为了能够更加清晰地理解本技术实施例提出的方案，将结合具体地实施例对本技术提供的一种音频同步采集方法进行介绍。125.参阅图13a-图13e，为本技术实施例提供的一种音频同步采集方法的示例性流程图之一，该实施例中第一参考信号的频率和第三参考信号的频率均为2khz，第二参考信号的频率和第四参考信号的频率均为3khz。可以包括以下流程：126.s1301，启动远端设备、近端设备和收音设备。127.终端设备启动收音设备开始采集音频数据，控制近端设备播放第一音频数据，同时控制远端设备播放第二音频数据。128.s1302，设置采集标识为0。129.s1303，终端设备计算采集到的音频数据的频率。130.终端设备通过音频采集计算模块计算采集到的音频数据的频率。131.s1304，判断频率是否为2khz。132.若s1303计算到音频数据的频率为2khz，则执行s1305。若s1303计算到音频数据的频率不为2khz，则执行图13b所示的s1307。133.s1305，判断采集标识是否为0。134.若确定采集标识为0，则执行s1306。若确定采集标识不为0，则执行图13c所示的s1308。135.s1306，将采集标识置为1，开始计时。136.采集标识置为1时，表示第一待播放音频数据先于第二待播放音频数据。137.s1307，判断频率是否为3khz。138.若s1303计算到音频数据的频率为3khz，则执行图13d所示的s1312。若s1303计算到音频数据的频率不为3khz，则执行s1303。139.s1308，第二待播放音频数据先于第一待播放音频数据，计时结束。140.s1309，确定第一时间差和第二时间差。141.终端设备可以根据计时结果确定第一时间差和n个第二时间差。142.s1310，发送命令至播放控制设备。143.s1311，调整第一参考信号与第一待播放音频数据之间的时间间隔。144.调整第一参考信号与第一待播放音频数据之间的时间间隔的方法可以参见如图2所示的方法实施例中的相关描述，本技术在此不再赘述。145.s1312，判断采集标识是否为1。146.若确定采集标识为1，则执行s1313。若确定采集标识不为1，则执行图13e所示的s1314。147.s1313，将采集标识置为2，开始计时。148.采集标识置为2时，表示第二待播放音频数据先于第一待播放音频数据。149.s1314，第一待播放音频数据先于第二待播放音频数据，计时结束。150.基于上述方法的同一构思，参见图14，为本技术实施例提供的一种音频同步采集装置1400，装置1400能够执行上述方法中的各个步骤，为了避免重复，此处不再详述。该装置1400包括采集单元1401和处理单元1402。在一种场景下：151.采集单元1401，用于采集近端设备播放的第一音频数据，以及采集远端设备播放的第二音频数据，所述第一音频数据包括第一参考信号以及所述近端设备的第一待播放音频数据；所述第二音频数据包括第二参考信号以及所述远端设备的第二待播放音频数据；所述第一参考信号与所述第二参考信号的频率不同；在启动播放时，所述第一参考信号与所述第一待播放音频数据之间的时间间隔，和，第二参考信号与所述第二待播放音频数据之间的时间间隔相同；152.处理单元1402，用于确定所述第一参考信号的采集时间与所述第二参考信号的采集时间的第一时间差；根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，使得所述第一待播放音频数据的采集时间与所述第二待播放音频数据的采集时间同步。153.一种可能的实现方式中，所述处理单元1402根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔时，还用于：若所述第一参考信号的采集时间先于所述第二参考信号的采集时间，则在所述第一参考信号与所述第一待播放音频数据之间插入时长为所述第一时间差的空白音频数据。154.一种可能的实现方式中，所述处理单元1402根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔时，还用于：若所述第二参考信号的采集时间先于所述第一参考信号的采集时间，则删除所述第一参考信号与所述第一待播放音频数据之间时长为所述第一时间差的数据。155.一种可能的实现方式中，第一音频数据还包括n个第三参考信号，以及所述第二音频数据还包括n个第四参考信号，n为正整数；所述n个第三参考信号位于所述第一参考信号与所述第一待播放音频数据之间，所述n个第四参考信号位于所述第二参考信号与所述第二待播放音频数据之间；所述n个第三参考信号与所述n个第四参考信号一一对应，第一时间间隔与第二时间间隔的差值小于或者等于所述第三参考信号的时长，所述第三参考信号的时长与所述第四参考信号的时长相同，所述第一时间间隔为所述第三参考信号与第一参考信号的时间间隔，所述第二时间间隔为所述第三参考信号对应的第四参考信号与所述第二参考信号的时间间隔。所述处理单元1402，还用于：确定n个第三参考信号中每个第三参考信号的采集时间与对应的第四参考信号的采集时间的第二时间差；根据所述第一时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔，包括：根据所述第一时间差和n个所述第二时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔。156.一种可能的实现方式中，n是根据所述第三参考信号的时长确定的，或者n是根据所述第四参考信号的时长确定的。157.一种可能的实现方式中，所述处理单元1402根据所述第一时间差和n个所述第二时间差调整所述第一参考信号与所述第一待播放音频数据之间的时间间隔时，还用于：从n个所述第二时间差中确定m个第三时间差；所述第三时间差大于所述第一时间差与所述第三参考信号的时长的和，m为大于或等于0且小于或等于n的整数；根据所述第三时间差的数量确定所述近端设备与所述远端设备的时延偏差；根据所述时延偏差和所述第一时间差调整第n个所述第三参考信号与所述第一待播放音频数据之间的时间间隔。158.一种可能的实现方式中，所述n个第三参考信号中任意相邻两个所述第三参考信号之间的时间间隔为参考间隔值；所述n个第四参考信号中任意相邻两个第四参考信号之间的时间间隔各不相同，且所述任意相邻两个第四参考信号之间的时间间隔是根据所述第四参考信号的时长和所述参考间隔值确定的；或者，所述n个第四参考信号中任意相邻两个所述第四参考信号之间的时间间隔为参考间隔值；所述n个第三参考信号中任意相邻两个第三参考信号之间的时间间隔各不相同，且所述任意相邻两个第三参考信号之间的时间间隔是根据所述第三参考信号的时长和所述参考间隔值确定的。159.基于上述方法的同一构思，参见图15，为本技术实施例提供的一种终端设备的结构示意图，该终端设备包括至少一个处理器1502，以及与至少一个处理器1502连接或称耦合的存储器1501，此外，终端设备还可以包括通信接口1503。终端设备可以通过通信接口1503和其它设备进行信息交互。160.示例性的，所述通信接口1503可以是收发器、电路、总线、模块、管脚或其它类型的通信接口。当该终端设备为芯片类的装置或者电路时，该终端设备中的通信接口1503也可以是输入输出电路，可以输入信息(或称，接收信息)和输出信息(或称，发送信息)，处理器为集成的处理器或者微处理器或者集成电路或则逻辑电路，处理器可以根据输入信息确定输出信息。161.本技术实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器1502可能和存储器1501、通信接口1503协同操作。本技术中不限定上述处理器1502、存储器1501以及通信接口1503之间的具体连接介质。162.可选的，参见图15，所述处理器1502、所述存储器1501以及所述通信接口1503之间通过总线相互连接。所述总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。163.在本技术实施例中，存储器1501作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1501可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器1501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器1501还可以是电路或者其它任意能够实现存储功能的装置，用于存储指令、计算机程序和/或数据。164.在本技术实施例中，处理器1502可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的音频同步采集方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。165.通过对处理器1502进行设计编程，可以将前述实施例中介绍的音频同步采集方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的音频同步采集方法的步骤，如何对处理器1502进行设计编程为本领域技术人员所公知的技术，这里不再赘述。166.在一个或多个实施例中，存储器1501存储有可被至少一个处理器1502执行的指令，至少一个处理器1502通过调用存储器1501存储的指令或者计算机程序，可以实现上述任一方法的步骤。167.本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行上述任一方法的步骤。168.在一些实施例中，本技术提供的音频同步采集方法的各个方面还可以实现为一种计算机程序产品的形式，其包括程序代码，当计算机程序产品在终端设备上运行时，程序代码用于使该终端设备执行本说明书上述描述的任一方法中的步骤。169.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。170.虽然以上描述了本技术的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本技术的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本技术的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本技术的保护范围。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。171.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!