一种基于TS流的音视频同步方法、系统及存储介质与流程 专利技术说明

电子通信装置的制造及其应用技术一种基于ts流的音视频同步方法、系统及存储介质技术领域1.本发明涉及音视频同步处理的技术领域，更具体的，涉及一种基于ts流的音视频同步方法、系统及存储介质。背景技术：2.转码器通常有如下处理，接收到的数据送入转码器进行解码。解码过程中当发现前后帧pts差异较大达到一定阀值，会触发重新计算pts偏移值，此举将pts不连续的流，通过处理后能实现pts值的连续性。用来保证转码后，整个视频的前后延续性，这样也提高了转码器对pts不连续流的兼容性。3.但是在实际的生产环境中，存在一种ts异常数据流，音频帧与视频帧之间其pts存在较大的偏移，即偏移绝对值》10000毫秒，有别于pts不连续的数据流(偏差是一瞬间的)，这种偏移长时间都存在。将这种异常ts流作为转码系统的输入源，并进行实时转码。如上解码重新计算偏移值的过程中会将不对应的音视频帧映射(存在偏移)到同一个时间节点上，这导致在这种情况下解码后的画面和声音不同步，从而影响后续的转码输出结果，出现音视频不同步的现象。技术实现要素：4.本发明为克服背景技术所述的音频帧和视频帧之间偏移绝对值过大而出现解码后音视频不同步的问题，提供一种基于ts流的音视频同步方法、系统及存储介质。5.为解决上述技术问题，本发明的技术方案如下：6.第一方面，本发明提供一种基于ts流的音视频同步方法，包括：7.读取ts流数据帧，并将所述ts流数据帧解封装；8.同步装置获取并计算当前帧与前一帧pts的差值，根据所述差值判定当前帧是否为ts异常数据类型；9.当所述差值为ts异常数据类型时，同步装置则进一步判定当前帧的类型；10.若当前帧的类型为视频帧，同步装置则将当前帧做丢弃处理；11.若当前帧的类型为音频帧，同步装置则重新调整偏移值，并判定当前帧是否做解码处理；12.若做解码处理，转码器进行解码处理。13.优选的，所述计算当前帧与前一帧pts的差值的算法包括：14.cur_pts＝curpts-ts_offset；15.last_pts＝lastpts-ts_offset；16.delta＝cur_pts-last_pts；17.其中，cur_pts表示为当前帧偏移后的pts；curpts表示为当前帧的pts；ts_offset表示为解码器pts偏移值；last_pts表示为前一帧偏移后的pts；lastpts表示为delta表示为前一帧的pts；delta表示为当前帧与前一帧pts的差值。18.优选的，根据所述差值判定当前帧是否为ts异常数据类型，包括：19.判定所述差值是否在预设的阈值范围内；20.若所述差值在所述阈值范围内，则判定当前帧不是ts异常数据类型；21.若所述差值不在所述阈值范围内，则判定当前帧是ts异常数据类型。22.优选的，所述当所述差值为ts异常数据类型时，同步装置则进一步判定当前帧的类型，包括：23.当所述差值为ts异常数据类型时，同步装置根据当前帧播放持续的时间来判定当前帧的类型。24.优选的，若当前帧的类型为音频帧，同步装置则重新调整偏移值，并判定当前帧是否做解码处理，包括：25.若当前帧的类型为音频帧，同步装置则先重新调整偏移值，再判定重新调整的偏移值是否在所述阈值范围内；26.若否，则判定当前帧偏移值大，对当前帧做丢弃处理；27.若是，则判定当前帧偏移值小，当前帧为不连续类型，对当前帧进行解码处理。28.优选的，所述重新调整偏移值的算法包括：29.ts_offset’＝ts_offset+delta；30.其中，ts_offset’表示为重新调整解码器pts的偏移值；ts_offset表示为解码器pts偏移值；delta表示为当前帧与前一帧pts的差值。31.优选的，所述阈值范围为大于-10000毫秒且小于10000毫秒。32.第二方面，本发明提供一种基于ts流的音视频同步系统，所述系统包括：33.处理器，用于封装和解封装音视频数据；34.同步装置，用于处理所述处理器传输的解封装的音视频数据；35.转码器，用于处理所述同步装置传输的同步数据。36.所述处理器的输出端与所述同步装置的输入端数据连接，所述同步装置的输出端与所述转码器数据连接。37.优选的，所述转码器包括用于将所述同步装置处理传输的音视频同步数据进行解码处理的解码模块和用于将所述解码模块传输的解码数据进行重新编码处理的编码模块，所述同步装置的输出端与所述解码模块数据连接；所述解码模块的输出端与所述编码模块的输入端数据连接。38.第三方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于ts流的音视频同步方法。39.其有益效果在于：40.本发明采用音频帧作为基准，重新调整偏移值，等待下一视频帧到达后开始解码，实现音视频同步的效果。在音频帧和视频帧之间的偏移绝对值大于1000毫秒时，当视频帧先到达，则将此视频帧丢弃，直到先到达的为音频帧时，以此音频帧为基准重新调整偏移值，之后与到达的下一视频帧一起开始解码。本发明通过偏移探测和校正错误规避流，从而实现正常转码使音视频同步。附图说明41.图1为本发明提供的基于ts流的音视频同步方法的实现流程图。42.图2为本发明提供的基于ts流的音视频同步方法的判定流程图。43.图3为本发明提供的基于ts流的音视频同步系统的结构示意图。44.图4为本发明提供的基于ts流的音视频同步系统的实现流程图。45.其中：处理器10、同步装置20、转码器30。具体实施方式46.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。47.本技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。48.此外，若有“第一”、“第二”等术语仅用于描述目的，主要是用于区分不同的装置、元件或组成部分(具体的种类和构造可能相同也可能不同)，并非用于表明或暗示所指示装置、元件或组成部分的相对重要性和数量，而不能理解为指示或者暗示相对重要性。49.实施例一50.如图1所示，本实施例提供一种基于ts(transport stream，传输流)流的音视频同步方法，包括：51.s101、读取ts流数据帧，并将ts流数据帧解封装。52.s102、同步装置获取并计算当前帧与前一帧pts(presentation time stamp，显示时间戳)的差值，根据差值判定当前帧是否为ts异常数据类型。53.s103、当差值为ts异常数据类型时，同步装置则进一步判定当前帧的类型。54.s104、若当前帧的类型为视频帧，同步装置则将当前帧做丢弃处理。55.s105、若当前帧的类型为音频帧，同步装置则重新调整偏移值，并判定当前帧是否做解码处理。56.s106、若做解码处理，转码器进行解码处理。57.请结合图2所示，图2示出了本实施例提供的基于ts流的音视频同步方法的判定流程图。58.在步骤s101中，处理器读取ts流数据帧，并将ts流数据帧解封装后传输给同步装置。59.在步骤s102中，同步装置将读取一个数据帧，将此数据帧与前一帧作比较，并计算出当前帧与前一帧pts的差值。在本实施例中，计算当前帧与前一帧pts的差值的算法为：60.cur_pts＝curpts-ts_offset；61.last_pts＝lastpts-ts_offset；62.delta＝cur_pts-last_pts；63.其中，cur_pts表示为当前帧偏移后的pts；curpts表示为当前帧的pts；ts_offset表示为解码器pts偏移值；last_pts表示为前一帧偏移后的pts；lastpts表示为delta表示为前一帧的pts；delta表示为当前帧与前一帧pts的差值。64.进一步地，同步装置根据此差值来判定当前帧是否在预设的阈值范围内，该阈值范围为大于-10000毫秒且小于10000毫秒，即-1000ms～1000ms。若差值在-1000ms～1000ms内，同步装置则判定当前帧不是ts异常数据类型，直接开始解码输出。若差值不在-1000ms～1000ms内，同步装置则判定当前帧是ts异常数据类型，即当前帧和前一帧之间偏移绝对值过大而出现解码后音视频不同步的情况。65.在步骤s103中，当差值为ts异常数据类型时，同步装置则进一步根据当前帧播放持续的时间来判定当前帧的类型。66.在步骤s104中，若当前帧的类型为视频帧，同步装置则将当前帧做丢弃处理，直到当前帧为音频帧时，进行步骤s105。67.在步骤s105中，若当前帧的类型为音频帧，同步装置则先重新调整偏移值，再判定重新调整的偏移值是否在阈值范围内，此阈值范围与以上相同，为-1000ms～1000ms。若重新调整的偏移值不在阈值范围内，则判定当前帧偏移值大，对当前帧做丢弃处理；若重新调整的偏移值在阈值范围内，则判定当前帧偏移值小，当前帧为不连续类型，可以对当前帧开始进行解码处理。68.在本实施例中，重新调整偏移值的算法为：69.ts_offset’＝ts_offset+delta；70.其中，ts_offset’表示为重新调整解码器pts的偏移值；ts_offset表示为解码器pts偏移值；delta表示为当前帧与前一帧pts的差值。71.在步骤s106中，转码器将同步装置传输的帧数据进行解码和编码处理。72.最后，处理器将编码数据重新封装成同步的ts流，即音视频同步。73.以上方法以音频帧为基准，在输入ts流音视频数据包pts存在偏移的应用场景下，通过偏移探测和校正规避流的错误，进而实现正常转码的效果。74.实施例二75.如图3所示，本实施例提供一种基于ts流的音视频同步系统，包括处理器10、同步装置20和转码器30。处理器10的输出端与同步装置20的输入端数据连接，同步装置20的输出端与转码器30数据连接。其中，处理器10主要用于封装和解封装音视频数据。同步装置20主要用于处理处理器10传输的解封装的音视频数据。转码器30主要用于处理同步装置20传输的同步数据。76.在本实施例中，转码器30包括解码模块和编码模块，同步装置20的输出端与解码模块数据连接。解码模块的输出端与编码模块的输入端数据连接。其中，解码模块主要用于将同步装置20处理传输的音视频同步数据进行解码处理。编码模块主要用于将解码模块传输的解码数据进行重新编码处理。77.请参考图4，图4示出了本实施例的基于ts流的音视频同步系统的实现流程图。78.通过以上的结构连接，本实施例实现基于ts流的音视频同步方法如下：79.s101、读取ts流数据帧，并将ts流数据帧解封装。80.s102、同步装置获取并计算当前帧与前一帧pts(presentation time stamp，显示时间戳)的差值，根据差值判定当前帧是否为ts异常数据类型。81.s103、当差值为ts异常数据类型时，同步装置则进一步判定当前帧的类型。82.s104、若当前帧的类型为视频帧，同步装置则将当前帧做丢弃处理。83.s105、若当前帧的类型为音频帧，同步装置则重新调整偏移值，并判定当前帧是否做解码处理。84.s106、若做解码处理，转码器进行解码处理。85.首先，处理器10获取帧数据，并将帧数据进行解封装。随后，同步装置20将读取处理器10解封装后的数据帧，并将当前帧与前一帧作比较，并计算出当前帧与前一帧pts的差值。86.进一步地，同步装置20根据此差值来判定当前帧是否在预设的阈值范围内，该阈值范围为大于-10000毫秒且小于10000毫秒，即-1000ms～1000ms。若差值在-1000ms～1000ms内，同步装置20则判定当前帧不是ts异常数据类型，直接开始解码输出。若差值不在-1000ms～1000ms内，同步装置20则判定当前帧是ts异常数据类型，即当前帧和前一帧之间偏移绝对值过大而出现解码后音视频不同步的情况。87.当差值为ts异常数据类型时，同步装置20则进一步根据当前帧播放持续的时间来判定当前帧的类型。88.若当前帧的类型为音频帧，同步装置20则先重新调整偏移值，再判定重新调整的偏移值是否在阈值范围内，此阈值范围与以上相同，为-1000ms～1000ms。若重新调整的偏移值不在阈值范围内，则判定当前帧偏移值大，对当前帧做丢弃处理；若重新调整的偏移值在阈值范围内，则判定当前帧偏移值小，当前帧为不连续类型，可以对当前帧开始进行解码处理。89.转码器30将同步装置20传输的帧数据进行解码和编码处理，随后，再通过处理器10的处理，音视频就可以重新封装成同步的ts流，即音视频同步。90.以上系统实现基于ts流的音视频同步方法可以解决因ts流异常导致转码器30转码出的数据音视频不同步的问题，提高了转码器30对流的兼容性。91.实施例三：92.本实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器10执行时实现如实施例一所述的基于ts流的音视频同步方法。93.请参考图1～4，计算机程序被处理器10执行时实现基于ts流的音视频同步方法的流程如下：94.处理器10读取ts流数据帧，并将ts流数据帧解封装。95.同步装置20获取并计算当前帧与前一帧pts(presentation time stamp，显示时间戳)的差值，根据差值判定当前帧是否为ts异常数据类型。96.当差值为ts异常数据类型时，同步装置20则进一步判定当前帧的类型。97.若当前帧的类型为视频帧，同步装置20则将当前帧做丢弃处理。98.若当前帧的类型为音频帧，同步装置20则重新调整偏移值，并判定当前帧是否做解码处理。99.若做解码处理，转码器30进行解码处理。100.虽然对本发明的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化、是显而易见的。因此，所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!