一种云存储系统的数据写入方法以及装置与流程

电子通信装置的制造及其应用技术1.本发明涉及数据存储技术领域，具体涉及一种云存储系统的数据写入方法以及装置。背景技术：2.云存储是一种网上在线存储的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上，托管公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求，数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池的方式提供，客户便可自行使用此存储资源池来存放文件或对象。实际上，这些资源可能被分布在众多的服务器主机上。3.但是，目前国内云存储技术还处于发展阶段，且现有的存储节点在对大数据进行写入的过程中，由于大容量存储设备的性能的限制，容易导致客户端出现卡顿、写操作出现延迟、影响存储性能的现象。技术实现要素：4.解决的技术问题5.针对现有技术所存在的上述缺点，本发明提供了一种云存储系统的数据写入方法以及装置，解决了存储节点在对大数据进行写入的过程中，由于大容量存储设备的性能的限制，容易导致客户端出现卡顿、写操作出现延迟、影响存储性能的问题。6.技术方案7.为实现以上目的，本发明通过以下技术方案予以实现：8.第一方面，一种云存储系统的数据写入方法以及装置，包括以下步骤：9.s1：客户端节点在接收到写入请求时，根据预设的写入策略判断云存储参数与写入参数之间的关系；10.s2：根据s1中的预设写入策略，若云存储参数小于写入参数时，将写入数据缓存至存储网关中，云存储参数大于或等于写入参数时，将请求写入数据发送给管理节点，并将其分配至对应的存储服务设备中；11.s3：当s2中的数据写入完成之后，储存节点经管理节点向客户端节点发出完成响应，随后通过用户操作已完成；12.s4：客户端节点向各存储节点发出持久化请求，并将持久化请求写入最终储存器中，随后删除存储服务设备中相应版本的数据。13.更进一步地，所述客户端预设的写入策略参数可为一个固定值，也可根据用户不同及上传数据的不同而设置不同的参数，以判断云存储平台的写入参数是否能达到用户的需求。14.更进一步地，当云存储平台的参数小于预设写入参数时，存储网关快速将写入数据进行缓冲，且网关将客户端的数据直接发送至云存储平台进行存储，随后存储网关中缓存的数据存入云存储平台。15.更进一步地，所述云储存平台在进行数据写入时，所述客户端节点接收数据写入请求，并对其参数大小进行判断，随后发送至管理节点，且经过管理节点将写入数据分配到对应的存储服务设备中。16.更进一步地，所述储存节点设置有若干个，且若干个储存节点组成存储集群，用于存储用户写入数据；其中，每个存储节点上至少包含一个存储服务设备和一个最终存储器。17.第二方面，针对一种云存储系统的数据写入方法进行如下辅助方法的补充，包括以下步骤：18.s201：客户端节点接收写入请求，并将数据请求发送给管理节点；19.s202：管理节点对待写入数据进行纠删码处理，写入数据分割成若干个大小相同的小块数据，并对其进行封装；20.s203：管理节点将封装之后的小块数据写入请求分配至对应的存储服务设备中。21.更进一步地，当客户端节点无法获取到可用的管理节点时，查询预先保存的索引，并根据每个存储服务设备的ip地址，向其发送数据的信息属性，随后发送到对应的存储服务设备中。22.更进一步地，所述纠删码创建一个数学函数来描述一组数据，且将写入数据分割成若干个小块数据片段，并把冗余数据块扩展、编码以及封装，随后将封装之后的小块数据片段分配到对应的存储服务设备中；其中，包括磁盘、固态硬盘及存储节点或者其它地理存储位置。23.第三方面，一种云存储系统的数据写入装置，包括接收模块、处理模块、响应模块和写入模块；24.所述接收模块用于接收用户写入的数据请求；25.所述处理模块用于当客户端无法获取到可用管理节点时，因数据写入请求中包含有域标识信息，以此并根据所述域标识信息，查询预先保存的索引；其中，所述索引包含资源池与域标识信息的对应关系；26.所述响应模块用于在数据写入完之后，向客户端节点发送完成响应；27.所述写入模块用于接收客户端节点发送的持久化请求，并将持久化写入数据存储到最终存储器中；28.所述接收模块接收用户写入的数据请求，并将写入数据下发至处理模块进行处理并存储，经响应模块将写入完的数据信号发送至客户端节点，随后写入模块向客户端节点发出持久化请求。29.更进一步地，所述处理模块包括查询模块和读取模块；30.所述查询模块用于当客户端节点无法获取到可用管理节点时，查询预先保存的索引；其中，所述索引包含每个存储服务设备及其ip地址的对应关系；31.所述读取模块用于根据接收的所述每个存储服务设备发送的其自身保存数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据；32.当客户端节点无法获取到可用管理节点时，所述查询模块查询索引中包含的每个存储服务设备及其ip地址的对应关系，并下发至读取模块进行读取每个存储服务设备其自身保存数据的属性信息，随后将读取数据发送至响应模块。33.有益效果34.采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：35.1、本发明中，每个云存储系统上至少包含一个存储服务设备和一个最终存储器，接收客户端节点发送的写请求，且网管预设的写入策略判断云存储参数与写入参数之间的大小关系，并进行分类处理及存储至存储服务设备中，随后经储存节点经管理节点向客户端节点发出完成响应，将分割成若干个小块数据片段封装分配至对应的存储服务设备中，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写入操作的延迟，且经管理节点完成纠删码的处理，降低了网络通信的数据量。36.2、本发明中，当客户端节点无法获取到可用管理节点时，因数据写入请求中包含有域标识信息，以此查询模块根据域标识信息查询索引中包含的每个存储服务设备及其ip地址的对应关系，并下发至读取模块进行读取每个存储服务设备其自身保存数据的属性信息，且确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据，并发送给响应模块完成数据写入，从而能够保证管理节点在出现故障或网络异常时，云存储系统仍能正常运行。附图说明37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。38.图1为本发明的云存储数据写入方法流程示意图；39.图2为本发明的写入数据分配存储子方法流程示意图；40.图3为本发明的云存储数据写入装置示意图；41.图4为本发明的云存储系统示意图。具体实施方式42.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。43.下面结合实施例对本发明作进一步的描述。44.实施例145.本实施例的一种云存储系统的数据写入方法以及装置，如图1所示，包括以下步骤：46.s1：客户端节点在接收到写入请求时，根据预设的写入策略判断云存储参数与写入参数之间的关系；47.s2：根据s1中的预设写入策略，若云存储参数小于写入参数时，将写入数据缓存至存储网关中，云存储参数大于或等于写入参数时，将请求写入数据发送给管理节点，并将其分配至对应的存储服务设备中；48.s3：当s2中的数据写入完成之后，储存节点经管理节点向客户端节点发出完成响应，随后通过用户操作已完成；49.s4：客户端节点向各存储节点发出持久化请求，并将持久化请求写入最终储存器中，随后删除存储服务设备中相应版本的数据。50.本实施例所述客户端预设的写入策略参数可为一个固定值，也可根据用户不同及上传数据的不同而设置不同的参数，以判断云存储平台的写入参数是否能达到用户的需求。51.本实施例当云存储平台的参数小于预设写入参数时，存储网关快速将写入数据进行缓冲，且网关将客户端的数据直接发送至云存储平台进行存储，随后存储网关中缓存的数据存入云存储平台。52.本实施例所述云储存平台在进行数据写入时，所述客户端节点接收数据写入请求，并对其参数大小进行判断，随后发送至管理节点，且经过管理节点将写入数据分配到对应的存储服务设备中。53.本实施例所述储存节点设置有若干个，且若干个储存节点组成存储集群，用于存储用户写入数据；其中，每个存储节点上至少包含一个存储服务设备和一个最终存储器。54.本实施例中，每个云存储系统上至少包含一个存储服务设备和一个最终存储器，接收客户端节点发送的写请求，且网管预设的写入策略判断云存储参数与写入参数之间的大小关系，并进行分类处理及存储至存储服务设备中，随后经储存节点经管理节点向客户端节点发出完成响应，将分割成若干个小块数据片段封装分配至对应的存储服务设备中，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写入操作的延迟，且经管理节点完成纠删码的处理，降低了网络通信的数据量。55.实施例256.一种云存储系统的数据写入方法，如图2所示，针对一种云存储系统的数据写入方法进行如下辅助方法的补充，包括以下步骤：57.s201：客户端节点接收写入请求，并将数据请求发送给管理节点；58.s202：管理节点对待写入数据进行纠删码处理，写入数据分割成若干个大小相同的小块数据，并对其进行封装；59.s203：管理节点将封装之后的小块数据写入请求分配至对应的存储服务设备中。60.本实施例当客户端节点无法获取到可用的管理节点时，查询预先保存的索引，并根据每个存储服务设备的ip地址，向其发送数据的信息属性，随后发送到对应的存储服务设备中。61.本实施例纠删码创建一个数学函数来描述一组数据，且将写入数据分割成若干个小块数据片段，并把冗余数据块扩展、编码以及封装，随后将封装之后的小块数据片段分配到对应的存储服务设备中；其中，包括磁盘、固态硬盘及存储节点或者其它地理存储位置。62.本实施例中，每个云存储系统上至少包含一个存储服务设备和一个最终存储器，接收客户端节点发送的写请求，且网管预设的写入策略判断云存储参数与写入参数之间的大小关系，并进行分类处理及存储至存储服务设备中，随后经储存节点经管理节点向客户端节点发出完成响应，将分割成若干个小块数据片段封装分配至对应的存储服务设备中，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写入操作的延迟，且经管理节点完成纠删码的处理，降低了网络通信的数据量。63.实施例364.一种云存储系统的数据写入装置，如图3至图4所示，包括接收模块100、处理模块200、响应模块300和写入模块400。65.本实施例接收模块100用于接收用户写入的数据请求。66.本实施例处理模块200用于当客户端无法获取到可用管理节点时，因数据写入请求中包含有域标识信息，以此并根据域标识信息，查询预先保存的索引；其中，索引包含资源池与域标识信息的对应关系。67.本实施例响应模块300用于在数据写入完之后，向客户端节点发送完成响应。68.本实施例写入模块400用于接收客户端节点发送的持久化请求，并将持久化写入数据存储到最终存储器中。69.本实施例接收模块100接收用户写入的数据请求，并将写入数据下发至处理模块200进行处理并存储，经响应模块300将写入完的数据信号发送至客户端节点，随后写入模块400向客户端节点发出持久化请求。70.本实施例处理模块200包括查询模块201和读取模块202。71.本实施例查询模块201用于当客户端节点无法获取到可用管理节点时，查询预先保存的索引；其中，索引包含每个存储服务设备及其ip地址的对应关系。72.本实施例读取模块202用于根据接收的每个存储服务设备发送的其自身保存数据的属性信息，以及数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。73.本实施例当客户端节点无法获取到可用管理节点时，查询模块201查询索引中包含的每个存储服务设备及其ip地址的对应关系，并下发至读取模块202进行读取每个存储服务设备其自身保存数据的属性信息，随后将读取数据发送至响应模块300。74.本发明中，每个云存储系统上至少包含一个存储服务设备和一个最终存储器，接收客户端节点发送的写请求，且网管预设的写入策略判断云存储参数与写入参数之间的大小关系，并进行分类处理及存储至存储服务设备中，随后经储存节点经管理节点向客户端节点发出完成响应，将分割成若干个小块数据片段封装分配至对应的存储服务设备中，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写入操作的延迟，且经管理节点完成纠删码的处理，降低了网络通信的数据量。75.本发明中，当客户端节点无法获取到可用管理节点时，因数据写入请求中包含有域标识信息，以此查询模块201根据域标识信息查询索引中包含的每个存储服务设备及其ip地址的对应关系，并下发至读取模块202进行读取每个存储服务设备其自身保存数据的属性信息，且确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据，并发送给响应模块300完成数据写入，从而能够保证管理节点在出现故障或网络异常时，云存储系统仍能正常运行。76.综上，每个云存储系统上至少包含一个存储服务设备和一个最终存储器，接收客户端节点发送的写请求，且网管预设的写入策略判断云存储参数与写入参数之间的大小关系，并进行分类处理及存储至存储服务设备中，随后经储存节点经管理节点向客户端节点发出完成响应，将分割成若干个小块数据片段封装分配至对应的存储服务设备中，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写入操作的延迟，且经管理节点完成纠删码的处理，降低了网络通信的数据量；当客户端节点无法获取到可用管理节点时，因数据写入请求中包含有域标识信息，以此查询模块201根据域标识信息查询索引中包含的每个存储服务设备及其ip地址的对应关系，并下发至读取模块202进行读取每个存储服务设备其自身保存数据的属性信息，且确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据，并发送给响应模块300完成数据写入，从而能够保证管理节点在出现故障或网络异常时，云存储系统仍能正常运行。77.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!