一种CDN系统缓存热回写的方法及系统与流程 专利技术说明

电子通信装置的制造及其应用技术一种cdn系统缓存热回写的方法及系统技术领域1.本发明涉及cdn网络中存储缓存文件的方法及系统,特别对冷热不均的缓存进行热回写的方法。背景技术：2.cdn网络，即为内容分发网络，用于加速用户获取的资源，并且减少内容源站的负载，边缘节点往往接收到大批量的各种请求，通过命中边缘节点的缓存，使得回源量降低，减少源站的负载。但由于节点的磁盘空间有限，请求资源所需的空间又过大，导致节点缓存miss,造成回源。由于考虑到单节点的缓存数量上千万甚至上亿,每时每刻都需要清理缓存，以存储新的缓存，会导致io过高无法命中缓存，直接回源。3.节点机器接收到的请求是不同热度的，某些域名下的缓存会多次缓存即为热缓存，某些域名下的缓存访问比较少甚至只有单次即为冷缓存，热缓存与冷缓存对磁盘资源的占用，导致冷缓存挤压热缓存的磁盘资源，导致热请求miss回源,磁盘空间被冷缓存占用，使得节点存在大量缓存miss。技术实现要素：4.基于此上述技术问题，本申请提出一种cdn系统缓存热回写的方法，所述方法包括：5.步骤1：cache系统接收用户发起的url请求，判断请求对应的缓存是否存在；6.步骤2：存在缓存则响应,否则向源站进行回源，请求缓存对象，以循环顺序写入缓存，并根据缓存的相关信息在热缓存中进行回写。7.进一步的，所述步骤2还包括，cache系统向源站进行回源时，建立lru缓存项，保存缓存索引信息，并将索引信息插入到lru表头，内存不足时删除lru表末尾缓存项,如果缓存已在lru表上，即该缓存为热缓存，继续将缓存插入lru表头中。8.进一步的，所述步骤2中写入缓存时，根据当前磁盘的写入位置，得到对应的热缓存hash id值，并插入到热疏散桶中，反向查询同个hash id的热缓存，对热缓存进行回写操作。9.进一步的，所述步骤2还包括，为所述回写新增配置项，控制其并发量，避免热疏散桶的hash id对应的缓存数量过多。10.同时本身还请求保护一种cdn系统缓存热回写的系统，包括用户、cache系统和源站，执行上述任一项所述的方法。11.发明提供一种cdn系统缓存热回写的方法及系统，节点写入新缓存的时候，无需删除旧缓存腾出磁盘空间，直接写入缓存覆盖旧缓存，减少磁盘的io操作；建立热回写的lru表，每次缓存命中放入lru的头部，尾部的缓存将被淘汰，控制了计算热缓存的空间，不至于内存占用过多；通过缓存的磁盘位置offset建立热疏散桶，可反向查询将被覆盖的热缓存，重新写入热缓存，再写入新缓存，保证热缓存不被淘汰；控制热回写的并发量，减少读写io操作过多，影响正常请求的io读写,并可针对凌晨与高峰期的不同并发量。附图说明12.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。13.图1为本申请实施例提供的基于局部空间位置的时间序列相似匹配方法；14.图2为本申请实施例中使用的缓存物理结构图；15.图3为本申请实施例的热疏散桶的逻辑结构图。具体实施方式16.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。17.以下是本发明的一个具体实施例，用户a发起各种各样的url请求，cache系统接收响应用户请求，回源接收cache系统发起的请求，具体过程如附图中的时序图所示，步骤如下：18.步骤1：cache系统接收用户发起的url请求，判断请求对应的缓存是否存在；19.具体地：s1：用户发起一个正常的url请求,cache系统判断缓存是否存在，20.步骤2：存在缓存则响应,否则向源站进行回源，请求缓存对象，以循环顺序写入缓存，并根据缓存的相关信息在热缓存中进行回写。21.具体地：s2：若缓存存在则直接响应,无需回源,否则进行回源拉取缓存对象a，并触发写缓存；22.cache系统中，要是磁盘空间未满,就常规写缓存a即可，等待用户触发请求,也就是一直重复s1的操作，也就是缓存miss，写新缓存；23.上述步骤2中，cache系统向源站进行回源时，建立lru缓存项，保存缓存索引信息，并将索引信息插入到lru表头，内存不足时删除lru表末尾缓存项,如果缓存已在lru表上，即该缓存为热缓存，继续将缓存插入lru表头中。24.具体地，s3：cache会建立针对url的lru表，将每次接收到的url请求，会构造url的缓存元数据信息放入到lru表与热疏散桶中，直到lru上的内存过大，将淘汰最旧的缓存元数据与对应的热疏散桶数据；25.s4：直到磁盘空间写满后,也就是套了磁盘一圈，重头开始写缓存；26.上述步骤2中，写入缓存时，根据当前磁盘的写入位置，得到对应的热缓存hash id值，并插入到热疏散桶中，反向查询同个hash id的热缓存，对热缓存进行回写操作。27.具体地，包括如下步骤，28.s5：当用户再次发起请求时,cache系统会将缓存a写入到当前磁盘的写位置,并触发后续即将被覆盖缓存块进行热回写操作；29.s6：cache系统将把源站获取的缓存对象边写入缓存，边响应给用户a；30.s7：即将被覆盖的缓存块，按照热疏散的块大小进行对齐处理得到需要被热回写的块区域b；31.s8：针对块区域b与磁盘空间的大小进行计算，获取该磁盘的热疏散桶的hash id值；32.s9：根据hash id值获取到对应的热缓存的链表,对链表上的缓存进行回写操作，也就是读磁盘缓存数据,重新写入缓存，更新缓存的元数据信息,表示该缓存不是上一轮套圈写的缓存；33.上述步骤2还包括，为所述回写新增配置项，控制其并发量，避免热疏散桶的hash id对应的缓存数量过多。34.具体地，s10：热回写会进行控制回写次数,避免块区域b的热缓存过多，导致io过高。35.本发明中，节点以循环顺序写磁盘的方式进行缓存，使得在处于高并发的请求时，可以高效率的淘汰旧缓存，无需对旧缓存进行删除动作,避免对磁盘io的消耗，并且系统中会实时维护更新磁盘写入位置offset，重启的时候，也会将磁盘的写入位置序列化在磁盘头部的元数据中。36.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些参数修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明思路的基础上所做的这些修改或改进，均属于本发明要求保护的范围。技术特征：1.一种cdn系统缓存热回写的方法，所述方法包括：步骤1：cache系统接收用户发起的url请求，判断请求对应的缓存是否存在；步骤2：存在缓存则响应,否则向源站进行回源，请求缓存对象，以循环顺序写入缓存，并根据缓存的相关信息在热缓存中进行回写。2.根据权利要求1所述的方法，其特征在于，所述步骤2还包括，cache系统向源站进行回源时，建立lru缓存项，保存缓存索引信息，并将索引信息插入到lru表头，内存不足时删除lru表末尾缓存项,如果缓存已在lru表上，即该缓存为热缓存，继续将缓存插入lru表头中。3.根据权利要求2所述的方法，其特征在于，所述步骤2中写入缓存时，根据当前磁盘的写入位置，得到对应的热缓存hashid值，并插入到热疏散桶中，反向查询同个hashid的热缓存，对热缓存进行回写操作。4.根据权利要求3所述的方法，其特征在于，所述步骤2还包括，为所述回写新增配置项，控制其并发量，避免热疏散桶的hash id对应的缓存数量过多。5.一种cdn系统缓存热回写的系统，包括用户、cache系统和源站，执行如权利要求1-4任一项所述的方法。技术总结本发明提供一种CDN系统缓存热回写的方法及系统，节点写入新缓存的时候，通过顺序写入缓存，覆盖旧缓存，减少磁盘的io操作；建立热回写的lru表，每次缓存命中放入lru的头部，尾部的缓存将被淘汰；通过缓存的磁盘位置建立热疏散桶，可反向查询将被覆盖的热缓存，重新写入热缓存，再写入新缓存，从而实现热缓存不被淘汰。汰。汰。技术研发人员：谢文裕 齐铁鹏受保护的技术使用者：天翼云科技有限公司技术研发日：2023.01.10技术公布日：2023/6/28









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!