一种远端回音消除系统及方法与流程

乐器;声学设备的制造及制作,分析技术1.本发明属于音频处理技术领域，具体涉及一种远端回音消除系统及方法。背景技术：2.随着互联网技术的发展，通过电子设备进行远程语音越来越受到人们的欢迎，其解决了距离带来的沟通不变的问题，是一种很好的交互方式，应用广泛。特别是语音会议或视频会议等，都是远程语音应用较为频繁的场景。但回音的存在会影响远程语音的质量和用户体验。技术实现要素：3.本发明提供了一种远端回音消除系统及方法，采用如下的技术方案：4.一种远端回音消除系统，包含：远端音频设备、声音解码接收模块、收端平滑模块、收端频域转换模块、声音编码发送模块、发端频域转换模块、发端混合模块、发端延时同步模块、发端同步生成模块、发端时延处理模块、收端回音消除模块、收端频域还原模块和会议桥模块；5.远端音频设备用于接收声音编码发送模块的声音数据进行解码并使用本地扬声器播放，远端音频设备的麦克风接收到本地扬声器播放声音与用户实际语音，把混合声音编码发送给声音解码接收模块；6.声音解码接收模块用于通过网络接收远端音频设备的包含用户实际语音和扬声器播放声音的混合音频编码数据，并将混合音频编码数据解码为pcm音频数据发送至收端平滑模块；7.收端平滑模块用于计算时延门限估计值，将时延门限估计值与当前时延门限进行差值取绝对值，如果绝对值大于时延门限的调整阀值，把当前时延门限修改为时延门限估计值，收端平滑模块按照当前时延门限值对pcm音频数据进行缓存，当收端平滑模块的音频数据累计超过当前时延门限，则按照固定时间对pcm音频数据进行音频数据分片得到pcm音频分片数据，把pcm音频分片数据与分片时戳发送给收端频域转换模块；8.收端频域转换模块用于接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，收端频域转换模块把音频频域分片数据与分片时戳发送至发端延时同步模块与收端回音消除模块；9.发端同步生成模块用于生成同步标识id和对应的同步音频数据，并将同步音频数据发送至发端混合模块，且接收发端混合模块的时戳作为同步时戳，最后将同步标识id和同步时戳发送至发端延时同步模块；10.发端延时同步模块用于根据接收到的信息计算同步时戳差、启动时戳和输出时戳，将启动时戳和输出时戳发送至发端时延处理模块，将同步时戳差发送给收端回音消除模块；11.发端混合模块用于接收会议桥模块的pcm音频数据和时戳，发端混合模块接收发端同步生成模块的同步音频数据并按时域进行数据混合，发端混合模块通过检测会议桥模块的音频数据能量值判断pcm音频数据是否为静音数据，若为静音数据，则把发端同步生成模块的音频数据替换会议桥模块的pcm音频数据，得到混合后的音频数据，发端混合模块把混合后的音频数据与时戳发送至声音编码发送模块，再把时戳返回给发端同步生成模块；12.声音编码发送模块用于接收发端混合模块的pcm音频数据与时戳，对pcm音频数据编码，并通过网格把音频数据发送给远端音频设备，声音编码发送模块同时对pcm音频数据按照固定时间进行音频数据重新分片与生成新时戳，把pcm音频分片数据与的分片时戳发送给发端频域转换模块；13.发端频域转换模块用于接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，发端频域转换模块把音频频域分片数据与分片时戳发送至发端时延处理模块；14.发端时延处理模块用于接收到发端频域转换模块的音频频域分片数据与分片时戳，把音频频域分片数据与分片时戳放入到先进先出队列，发端时延处理模块接收发端延时同步模块的启动时戳，丢弃分片时戳小于启动时戳的音频频域分片数据，发端时延处理模块接收发端延时同步模块的输出时戳，把分片时戳小于等于输出时戳的音频频域分片数据和发送时戳发送给收端回音消除模块；15.收端回音消除模块用于接收对音频频域分片数据进行消音并将消音后的音频频域分片数据与分片时戳发送到收端频域还原模块；16.收端频域还原模块用于接收收端回音消除模块的音频频域分片数据和分片时戳，收端频域还原模块对音频频域分片数据进行ifft快速傅里叶逆变化，把频域的声音逆变为时域的pcm声音数据，再把pcm声音数据发送给会议桥模块；17.会议桥模块用于接收端频域还原模块的pcm声音数据，对pcm声音数据进行声音混合，把混音pcm声音数据和时戳发送至其他与会成员的发端混合模块。18.进一步地，收端平滑模块采用平顺延时控制保证其输出音频数据在时间维度上平顺,收端平滑模块使用预设时延做时延门限定的初始值,统计相邻音频数包到达时间间隔,统计固定周期音频数据包的时间间隔,时延抖动值取值大于周期内大于阀值音频数据包的时间间隔的最小值，时延抖动值乘以调整系数得到时延门限统计值,使用卡尔曼滤波对时延门限统计值进行滤波得到时延门限估计值，过滤突变，对时延门限估计值进行平顺处理。19.进一步地，发端同步生成模块分别使用随机算法在高频群、中频群、低频群选择一个频率，生成取值范围为0-26的同步标识id，20.同步标识id＝高频群频率的标号*9+中频群频率的标号*3+低频群频率的标号，发端同步生成模块根据同步标识id的三个频率生成定长的同步音频数据。21.进一步地，发端延时同步模块接收收端频域转换模块的音频频域分片数据和分片时戳以及接收发端同步生成模块的同步标识id和发送时戳，发端延时同步模块按照高频群,中频群,低频群把音频频域分片数据分成三个区块，分别对三个区块的音频频域数据进行处理，发端延时同步模块按照音频频域数据的各个频率的能量值进行平方值计算，放大各个频率的能量值的差异，统计在区块的各个频率的能量值的平均值，如果同步标识id在区块对应频域大于阀值k，则认定同步区块id在该区域匹配，当三个区块都匹配时，则认为在音频频域分片数据找到该同步标识id，发端延时同步模块把发送时戳减去分片时戳再减去调节系数的值作为同步时戳差，发端延时同步模块把分片时戳加上同步时戳差得到启动时戳，分片时戳加上同步时戳差得到输出时戳，将启动时戳和输出时戳发送至发端时延处理模块，将同步时戳差发送给发端时延处理模块。22.进一步地，收端回音消除模块接收发端时延处理模块的音频频域分片数据与发送时戳，将音频频域分片数据按照发送时戳保存到发端缓存区，发端缓存区采用最新固定时长音频频域分片数据，将发送时戳作为发端缓存区的最新时戳，收端回音消除模块接收发端延时同步模块的同步时戳差，接收收端频域转换模块的音频频域分片数据与分片时戳，计算时延预估，23.时延预估＝分片时戳+同步时戳差-发端缓存区的最新时戳，24.收端回音消除模块把时延预估做为线性回音消除nlms算法的线性部分回声的估计延时的初始值，提早nlms算法进入收敛，并根据nlms算法的估计延时进行远近端非因果预估非线回音消除，最后把经过回音消除的音频频域分片数据与分片时戳发送至收端频域还原模块。25.一种远端回音消除方法，包含以下步骤：26.远端音频设备接收声音编码发送模块的声音数据进行解码并使用本地扬声器播放，远端音频设备的麦克风接收到本地扬声器播放声音与用户实际语音，把混合声音编码发送给声音解码接收模块；27.声音解码接收模块通过网络接收远端音频设备的包含用户实际语音和扬声器播放声音的混合音频编码数据，并将混合音频编码数据解码为pcm音频数据发送至收端平滑模块；28.收端平滑模块计算时延门限估计值，将时延门限估计值与当前时延门限进行差值取绝对值，如果绝对值大于时延门限的调整阀值，把当前时延门限修改为时延门限估计值，收端平滑模块按照当前时延门限值对pcm音频数据进行缓存，当收端平滑模块的音频数据累计超过当前时延门限，则按照固定时间对pcm音频数据进行音频数据分片得到pcm音频分片数据，把pcm音频分片数据与分片时戳发送给收端频域转换模块；29.收端频域转换模块接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，收端频域转换模块把音频频域分片数据与分片时戳发送至发端延时同步模块与收端回音消除模块；30.发端同步生成模块生成同步标识id和对应的同步音频数据，并将同步音频数据发送至发端混合模块，且接收发端混合模块的时戳作为同步时戳，最后将同步标识id和同步时戳发送至发端延时同步模块；31.发端延时同步模块根据接收到的信息计算同步时戳差、启动时戳和输出时戳，将启动时戳和输出时戳发送至发端时延处理模块，将同步时戳差发送给收端回音消除模块；32.发端混合模块接收会议桥模块的pcm音频数据和时戳，发端混合模块接收发端同步生成模块的同步音频数据并按时域进行数据混合，发端混合模块通过检测会议桥模块的音频数据能量值判断pcm音频数据是否为静音数据，若为静音数据，则把发端同步生成模块的音频数据替换会议桥模块的pcm音频数据，得到混合后的音频数据，发端混合模块把混合后的音频数据与时戳发送至声音编码发送模块，再把时戳返回给发端同步生成模块；33.声音编码发送模块接收发端混合模块的pcm音频数据与时戳，对pcm音频数据编码，并通过网格把音频数据发送给远端音频设备，声音编码发送模块同时对pcm音频数据按照固定时间进行音频数据重新分片与生成新时戳，把pcm音频分片数据与的分片时戳发送给发端频域转换模块；34.发端频域转换模块接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，发端频域转换模块把音频频域分片数据与分片时戳发送至发端时延处理模块；35.发端时延处理模块接收到发端频域转换模块的音频频域分片数据与分片时戳，把音频频域分片数据与分片时戳放入到先进先出队列，发端时延处理模块接收发端延时同步模块的启动时戳，丢弃分片时戳小于启动时戳的音频频域分片数据，发端时延处理模块接收发端延时同步模块的输出时戳，把分片时戳小于等于输出时戳的音频频域分片数据和发送时戳发送给收端回音消除模块；36.收端回音消除模块接收对音频频域分片数据进行消音并将消音后的音频频域分片数据与分片时戳发送到收端频域还原模块；37.收端频域还原模块接收收端回音消除模块的音频频域分片数据和分片时戳，收端频域还原模块对音频频域分片数据进行ifft快速傅里叶逆变化，把频域的声音逆变为时域的pcm声音数据，再把pcm声音数据发送给会议桥模块；38.会议桥模块接收端频域还原模块的pcm声音数据，对pcm声音数据进行声音混合，把混音pcm声音数据和时戳发送至其他与会成员的发端混合模块。39.进一步地，收端平滑模块计算时延门限估计值的具体方法为：40.收端平滑模块采用平顺延时控制保证其输出音频数据在时间维度上平顺,收端平滑模块使用预设时延做时延门限定的初始值,统计相邻音频数包到达时间间隔,统计固定周期音频数据包的时间间隔,时延抖动值取值大于周期内大于阀值音频数据包的时间间隔的最小值，时延抖动值乘以调整系数得到时延门限统计值,使用卡尔曼滤波对时延门限统计值进行滤波得到时延门限估计值，过滤突变，对时延门限估计值进行平顺处理。41.进一步地，发端同步生成模块生成同步标识id和对应的同步音频数据的具体方法为：42.发端同步生成模块分别使用随机算法在高频群、中频群、低频群选择一个频率，生成取值范围为0-26的同步标识id，43.同步标识id＝高频群频率的标号*9+中频群频率的标号*3+低频群频率的标号，发端同步生成模块根据同步标识id的三个频率生成定长的同步音频数据。44.进一步地，发端延时同步模块根据接收到的信息计算同步时戳差、启动时戳和输出时戳的具体方法为：45.发端延时同步模块接收收端频域转换模块的音频频域分片数据和分片时戳以及接收发端同步生成模块的同步标识id和发送时戳，发端延时同步模块按照高频群,中频群,低频群把音频频域分片数据分成三个区块，分别对三个区块的音频频域数据进行处理，发端延时同步模块按照音频频域数据的各个频率的能量值进行平方值计算，放大各个频率的能量值的差异，统计在区块的各个频率的能量值的平均值，如果同步标识id在区块对应频域大于阀值k，则认定同步区块id在该区域匹配，当三个区块都匹配时，则认为在音频频域分片数据找到该同步标识id，发端延时同步模块把发送时戳减去分片时戳再减去调节系数的值作为同步时戳差，发端延时同步模块把分片时戳加上同步时戳差得到启动时戳，分片时戳加上同步时戳差得到输出时戳，将启动时戳和输出时戳发送至发端时延处理模块，将同步时戳差发送给发端时延处理模块。46.进一步地，收端回音消除模块接收对音频频域分片数据进行消音的具体方法为：47.收端回音消除模块接收发端时延处理模块的音频频域分片数据与发送时戳，将音频频域分片数据按照发送时戳保存到发端缓存区，发端缓存区采用最新固定时长音频频域分片数据，将发送时戳作为发端缓存区的最新时戳，收端回音消除模块接收发端延时同步模块的同步时戳差，接收收端频域转换模块的音频频域分片数据与分片时戳，计算时延预估，48.时延预估＝分片时戳+同步时戳差-发端缓存区的最新时戳，49.收端回音消除模块把时延预估做为线性回音消除nlms算法的线性部分回声的估计延时的初始值，提早nlms算法进入收敛，并根据nlms算法的估计延时进行远近端非因果预估非线回音消除，最后把经过回音消除的音频频域分片数据与分片时戳发送至收端频域还原模块。50.本发明的有益之处在于所提供的远端回音消除系统及方法，使用平顺延时控制去网络抖动保证输出音频数据在时间维度上平顺，提升回音消除准确性。51.本发明的有益之处还在于所提供的远端回音消除系统及方法，使用高中低三频同步音频，进行初步确定远端的音频时延，让回音消除算法从高延时回归到低延时情况，提升回音消除准确性。附图说明52.图1是本发明的一种远端回音消除系统的示意图。具体实施方式53.以下结合附图和具体实施例对本发明作具体的介绍。54.如图1所示为本技术的一种远端回音消除系统，包含：远端音频设备、声音解码接收模块(1)、收端平滑模块(2)、收端频域转换模块(3)、声音编码发送模块(4)、发端频域转换模块(5)、发端混合模块(6)、发端延时同步模块(7)、发端同步生成模块(8)、发端时延处理模块(9)、收端回音消除模块(10)、收端频域还原模块(11)和会议桥模块(12)。55.其中，远端音频设备是指不支持本地回音消除的音频设备，其用于接收声音编码发送模块(4)的声音数据进行解码并使用本地扬声器播放，远端音频设备的麦克风接收到本地扬声器播放声音与用户实际语音，把混合声音编码发送给声音解码接收模块(1)。56.声音解码接收模块(1)，用于通过网络接收远端音频设备的包含用户实际语音和扬声器播放声音的混合音频编码数据，并将混合音频编码数据解码为pcm音频数据发送至收端平滑模块(2)。57.收端平滑模块(2)用于对网络上音频数据进行去抖动处理，其计算时延门限估计值，将时延门限估计值与当前时延门限进行差值取绝对值，如果绝对值大于时延门限的调整阀值(本技术设定为10％)，把当前时延门限修改为时延门限估计值，收端平滑模块(2)按照当前时延门限值对pcm音频数据进行缓存，当收端平滑模块(2)的音频数据累计超过当前时延门限，则按照固定时间(本技术设定为4毫秒)对pcm音频数据进行音频数据分片得到pcm音频分片数据，把pcm音频分片数据与分片时戳发送给收端频域转换模块(3)。58.其中，因为远端回音方法是延时敏感型方法，收端平滑模块(2)采用平顺延时控制保证其输出音频数据在时间维度上平顺,收端平滑模块(2)使用预设的较长时延(本技术设定为200毫秒)做时延门限定的初始值,统计相邻音频数包到达时间间隔,统计固定周期(本技术设定为10秒)音频数据包的时间间隔,时延抖动值取值大于周期内大于阀值(本技术设定为90％)音频数据包的时间间隔的最小值，时延抖动值乘以调整系数(本技术设定为3)得到时延门限统计值,使用卡尔曼滤波对时延门限统计值进行滤波得到时延门限估计值，过滤突变，对时延门限估计值进行平顺处理。59.收端频域转换模块(3)，用于接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，收端频域转换模块(3)把音频频域分片数据与分片时戳发送至发端延时同步模块(7)与收端回音消除模块(10)。60.发端同步生成模块(8)，用于生成同步标识id和对应的同步音频数据，并将同步音频数据发送至发端混合模块(6)，且接收发端混合模块(6)的时戳作为同步时戳，最后将同步标识id和同步时戳发送至发端延时同步模块(7)。61.其中，同步标识id由高频群、中频群、低频群各取一个频率组成。高频群,中频群,低频群各选三个频率按频率低到高分标号0/1/2，如高频群1615hz/1767hz/1832hz，中频群1313hz/1187hz/1082hz，低频群891hz/781hz/695hz。62.发端同步生成模块(8)分别使用随机算法在高频群、中频群、低频群选择一个频率，生成取值范围为0-26的同步标识id，63.同步标识id＝高频群频率的标号*9+中频群频率的标号*3+低频群频率的标号，发端同步生成模块(8)根据同步标识id的三个频率生成定长的同步音频数据(本技术设定为50毫秒)。64.发端延时同步模块(7)，用于根据接收到的信息计算同步时戳差、启动时戳和输出时戳，将启动时戳和输出时戳发送至发端时延处理模块(9)，将同步时戳差发送给收端回音消除模块(10)。65.具体而言，发端延时同步模块(7)接收收端频域转换模块(3)的音频频域分片数据和分片时戳以及接收发端同步生成模块(8)的同步标识id和发送时戳，发端延时同步模块(7)按照高频群,中频群,低频群把音频频域分片数据分成三个区块，分别对三个区块的音频频域数据进行处理，发端延时同步模块(7)按照音频频域数据的各个频率的能量值进行平方值计算，放大各个频率的能量值的差异，统计在区块的各个频率的能量值的平均值，如果同步标识id在区块对应频域大于阀值k，则认定同步区块id在该区域匹配，当三个区块都匹配时，则认为在音频频域分片数据找到该同步标识id，发端延时同步模块(7)把发送时戳减去分片时戳再减去调节系数的值作为同步时戳差。其中，调节系数为同步标识id信号音在pcm音频分片数据被分段与预留，在本技术中取值为pcm音频分片数据分片的时长的三倍。发端延时同步模块(7)把分片时戳加上同步时戳差得到启动时戳，分片时戳加上同步时戳差得到输出时戳，将启动时戳和输出时戳发送至发端时延处理模块(9)，将同步时戳差发送给发端时延处理模块(9)。66.发端混合模块(6)，用于接收会议桥模块(12)的pcm音频数据和时戳，发端混合模块(6)接收发端同步生成模块(8)的同步音频数据并按时域进行数据混合，发端混合模块(6)通过检测会议桥模块(12)的音频数据能量值判断pcm音频数据是否为静音数据。67.音频数据能量值计算方式：pcm音频数据取绝值后进累加值，累加值除以采样数，得到pcm音频数据采样的平均值，如果平均值小于阀值则认为静音数据，68.若为静音数据，则把发端同步生成模块(8)的音频数据替换会议桥模块(12)的pcm音频数据，得到混合后的音频数据，发端混合模块(6)把混合后的音频数据与时戳发送至声音编码发送模块(4)，再把时戳返回给发端同步生成模块(8)。69.声音编码发送模块(4)，用于接收发端混合模块(6)的pcm音频数据与时戳，对pcm音频数据编码，并通过网格把音频数据发送给远端音频设备，声音编码发送模块(4)同时对pcm音频数据按照固定时间(本技术设定为4毫秒)进行音频数据重新分片与生成新时戳，把pcm音频分片数据与的分片时戳发送给发端频域转换模块(5)。70.发端频域转换模块(5)，用于接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，发端频域转换模块(5)把音频频域分片数据与分片时戳发送至发端时延处理模块(9)。71.发端时延处理模块(9)，用于接收到发端频域转换模块(5)的音频频域分片数据与分片时戳，把音频频域分片数据与分片时戳放入到先进先出队列，发端时延处理模块(9)接收发端延时同步模块(7)的启动时戳，丢弃分片时戳小于启动时戳的音频频域分片数据，发端时延处理模块(9)接收发端延时同步模块(7)的输出时戳，把分片时戳小于等于输出时戳的音频频域分片数据和发送时戳发送给收端回音消除模块(10)。72.收端回音消除模块(10)，用于接收对音频频域分片数据进行消音并将消音后的音频频域分片数据与分片时戳发送到收端频域还原模块(11)。73.具体地，收端回音消除模块(10)接收发端时延处理模块(9)的音频频域分片数据与发送时戳，将音频频域分片数据按照发送时戳保存到发端缓存区，发端缓存区采用最新固定时长(本技术设定为128毫秒)音频频域分片数据，将发送时戳作为发端缓存区的最新时戳，收端回音消除模块(10)接收发端延时同步模块(7)的同步时戳差，接收收端频域转换模块(3)的音频频域分片数据与分片时戳，计算时延预估，74.时延预估＝分片时戳+同步时戳差-发端缓存区的最新时戳，75.收端回音消除模块(10)把时延预估做为线性回音消除nlms算法的线性部分回声的估计延时的初始值，提早nlms算法进入收敛，并根据nlms算法的估计延时进行远近端非因果预估非线回音消除，最后把经过回音消除的音频频域分片数据与分片时戳发送至收端频域还原模块(11)。76.收端频域还原模块(11)，用于接收收端回音消除模块(10)的音频频域分片数据和分片时戳，收端频域还原模块(11)对音频频域分片数据进行ifft快速傅里叶逆变化，把频域的声音逆变为时域的pcm声音数据，再把pcm声音数据发送给会议桥模块(12)。77.会议桥模块(12)用于接收端频域还原模块(11)的pcm声音数据，对pcm声音数据进行声音混合，把混音pcm声音数据和时戳发送至其他与会成员的发端混合模块(6)。78.本技术还揭示一种远端回音消除方法，用于前述的远端回音消除系统，包含以下步骤：79.远端音频设备接收声音编码发送模块(4)的声音数据进行解码并使用本地扬声器播放，远端音频设备的麦克风接收到本地扬声器播放声音与用户实际语音，把混合声音编码发送给声音解码接收模块(1)。80.声音解码接收模块(1)通过网络接收远端音频设备的包含用户实际语音和扬声器播放声音的混合音频编码数据，并将混合音频编码数据解码为pcm音频数据发送至收端平滑模块(2)。81.收端平滑模块(2)计算时延门限估计值，将时延门限估计值与当前时延门限进行差值取绝对值，如果绝对值大于时延门限的调整阀值(本技术设定为10％)，把当前时延门限修改为时延门限估计值，收端平滑模块(2)按照当前时延门限值对pcm音频数据进行缓存，当收端平滑模块(2)的音频数据累计超过当前时延门限，则按照固定时间(本技术设定为4毫秒)对pcm音频数据进行音频数据分片得到pcm音频分片数据，把pcm音频分片数据与分片时戳发送给收端频域转换模块(3)。82.收端频域转换模块(3)接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，收端频域转换模块(3)把音频频域分片数据与分片时戳发送至发端延时同步模块(7)与收端回音消除模块(10)。83.发端同步生成模块(8)生成同步标识id和对应的同步音频数据，并将同步音频数据发送至发端混合模块(6)，且接收发端混合模块(6)的时戳作为同步时戳，最后将同步标识id和同步时戳发送至发端延时同步模块(7)。84.发端延时同步模块(7)根据接收到的信息计算同步时戳差、启动时戳和输出时戳，将启动时戳和输出时戳发送至发端时延处理模块(9)，将同步时戳差发送给收端回音消除模块(10)。85.发端混合模块(6)接收会议桥模块(12)的pcm音频数据和时戳，发端混合模块(6)接收发端同步生成模块(8)的同步音频数据并按时域进行数据混合，发端混合模块(6)通过检测会议桥模块(12)的音频数据能量值判断pcm音频数据是否为静音数据，若为静音数据，则把发端同步生成模块(8)的音频数据替换会议桥模块(12)的pcm音频数据，得到混合后的音频数据，发端混合模块(6)把混合后的音频数据与时戳发送至声音编码发送模块(4)，再把时戳返回给发端同步生成模块(8)。86.声音编码发送模块(4)接收发端混合模块(6)的pcm音频数据与时戳，对pcm音频数据编码，并通过网格把音频数据发送给远端音频设备，声音编码发送模块(4)同时对pcm音频数据按照固定时间(本技术设定为4毫秒)进行音频数据重新分片与生成新时戳，把pcm音频分片数据与的分片时戳发送给发端频域转换模块(5)。87.发端频域转换模块(5)接收pcm音频分片数据与分片时戳，把pcm音频分片数据通过fft快速傅里叶变化进行时域到频域的转化，得到音频频域分片数据，发端频域转换模块(5)把音频频域分片数据与分片时戳发送至发端时延处理模块(9)。88.发端时延处理模块(9)接收到发端频域转换模块(5)的音频频域分片数据与分片时戳，把音频频域分片数据与分片时戳放入到先进先出队列，发端时延处理模块(9)接收发端延时同步模块(7)的启动时戳，丢弃分片时戳小于启动时戳的音频频域分片数据，发端时延处理模块(9)接收发端延时同步模块(7)的输出时戳，把分片时戳小于等于输出时戳的音频频域分片数据和发送时戳发送给收端回音消除模块(10)。89.收端回音消除模块(10)接收对音频频域分片数据进行消音并将消音后的音频频域分片数据与分片时戳发送到收端频域还原模块(11)。90.收端频域还原模块(11)接收收端回音消除模块(10)的音频频域分片数据和分片时戳，收端频域还原模块(11)对音频频域分片数据进行ifft快速傅里叶逆变化，把频域的声音逆变为时域的pcm声音数据，再把pcm声音数据发送给会议桥模块(12)。91.会议桥模块(12)接收端频域还原模块(11)的pcm声音数据，对pcm声音数据进行声音混合，把混音pcm声音数据和时戳发送至其他与会成员的发端混合模块(6)。92.作为一种优选的实施方式，收端平滑模块(2)计算时延门限估计值的具体方法为：93.收端平滑模块(2)采用平顺延时控制保证其输出音频数据在时间维度上平顺,收端平滑模块(2)使用预设的较长时延(本技术设定为200毫秒)做时延门限定的初始值,统计相邻音频数包到达时间间隔,统计固定周期(本技术设定为10秒)音频数据包的时间间隔,时延抖动值取值大于周期内大于阀值(本技术设定为90％)音频数据包的时间间隔的最小值，时延抖动值乘以调整系数(本技术设定为3)得到时延门限统计值,使用卡尔曼滤波对时延门限统计值进行滤波得到时延门限估计值，过滤突变，对时延门限估计值进行平顺处理。94.同步标识id由高频群、中频群、低频群各取一个频率组成。高频群,中频群,低频群各选三个频率按频率低到高分标号0/1/2，如高频群1615hz/1767hz/1832hz，中频群1313hz/1187hz/1082hz，低频群891hz/781hz/695hz。作为一种优选的实施方式，发端同步生成模块(8)生成同步标识id和对应的同步音频数据的具体方法为：95.发端同步生成模块(8)分别使用随机算法在高频群、中频群、低频群选择一个频率，生成取值范围为0-26的同步标识id，96.同步标识id＝高频群频率的标号*9+中频群频率的标号*3+低频群频率的标号，发端同步生成模块(8)根据同步标识id的三个频率生成定长的同步音频数据(本技术设定为50毫秒)。97.作为一种优选的实施方式，发端延时同步模块(7)根据接收到的信息计算同步时戳差、启动时戳和输出时戳的具体方法为：98.发端延时同步模块(7)接收收端频域转换模块(3)的音频频域分片数据和分片时戳以及接收发端同步生成模块(8)的同步标识id和发送时戳，发端延时同步模块(7)按照高频群,中频群,低频群把音频频域分片数据分成三个区块，分别对三个区块的音频频域数据进行处理，发端延时同步模块(7)按照音频频域数据的各个频率的能量值进行平方值计算，放大各个频率的能量值的差异，统计在区块的各个频率的能量值的平均值，如果同步标识id在区块对应频域大于阀值k，则认定同步区块id在该区域匹配，当三个区块都匹配时，则认为在音频频域分片数据找到该同步标识id，发端延时同步模块(7)把发送时戳减去分片时戳再减去调节系数的值作为同步时戳差，发端延时同步模块(7)把分片时戳加上同步时戳差得到启动时戳，分片时戳加上同步时戳差得到输出时戳，将启动时戳和输出时戳发送至发端时延处理模块(9)，将同步时戳差发送给发端时延处理模块(9)。其中，调节系数为同步标识id信号音在pcm音频分片数据被分段与预留，在本技术中取值为pcm音频分片数据分片的时长的三倍。99.作为一种优选的实施方式，收端回音消除模块(10)接收对音频频域分片数据进行消音的具体方法为：100.收端回音消除模块(10)接收发端时延处理模块(9)的音频频域分片数据与发送时戳，将音频频域分片数据按照发送时戳保存到发端缓存区，发端缓存区采用最新固定时长(本技术设定为128毫秒)音频频域分片数据，将发送时戳作为发端缓存区的最新时戳，收端回音消除模块(10)接收发端延时同步模块(7)的同步时戳差，接收收端频域转换模块(3)的音频频域分片数据与分片时戳，计算时延预估，101.时延预估＝分片时戳+同步时戳差-发端缓存区的最新时戳，102.收端回音消除模块(10)把时延预估做为线性回音消除nlms算法的线性部分回声的估计延时的初始值，提早nlms算法进入收敛，并根据nlms算法的估计延时进行远近端非因果预估非线回音消除，最后把经过回音消除的音频频域分片数据与分片时戳发送至收端频域还原模块(11)。103.定位输出模块(4)将接收到的空间坐标根据wgs84椭球转为大地坐标系作为最终输出。104.以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!