一种水体化学需氧量浓度的反演方法与流程 专利技术说明

测量装置的制造及其应用技术1.本发明属于水质监测领域技术领域，尤其涉及一种水体化学需氧量浓度的反演方法。背景技术：2.水是生命之源，水域环境的健康与人类的命运息息相关。化学需氧量(codcr)值的大小可表示水中有机物、亚硝酸盐、硫化物、亚铁盐等还原性物质多少，用以指示水中有机物、亚硝酸盐、硫化物、亚铁盐等还原性物质的污染程度。3.化学需氧量浓度是水体污染程度的主要评价指标，化学需氧量浓度的准确获取，能够为污染物精准防治和水体修复提供重要的技术支撑。4.目前，水体化学需氧量浓度监测有人工移动监测、固定站点监测和遥感监测等方式。人工移动监测，依赖野外采样和实验室分析，工作量大、效率低，只能对特定时间段某一有限区域进行监测，难以反映全区域水质情况；固定站点监测，通过特定波长处吸光度的换算，可以实现定点实时在线监测，无法满足大范围同步动态监测的需求；遥感监测，包括可见光、红外光谱等监测手段，具有获取数据快、覆盖范围广和同步观测等优势。光谱遥感能够获取丰富精细的光谱信息，对水体化学需氧量、总氮等元素感知度更灵敏、估算精度更高，已成为当前最有效的遥感监测手段。卫星光谱遥感成本较高、分辨率较低、很难推广应用。地面光谱遥感具有成本低、操作简单、受天气影响较小、无需大气校正等特点，是水体参数定量化研究的有效获取手段。5.研究表明风速的变化会打破底泥与水之间的平衡关系，引起底泥再悬浮，进而导致底泥中的有机质放进入水中，进而影响化学需氧量浓度。温度的变化会影响水体中藻类、水生植物及微生物的生长，此类物质的生长消亡会影响化学需氧量浓度的变化，进而对化学需氧量的季节变化也有一定的影响。温度对光合作用速率有一定影响外，更显著的是对水生物呼吸耗氧和水中有机物分解速度的影响，制约着水体耗氧率的大小。水温越高,生物的生理活动越强,呼吸耗氧越多；水中有机物分解速度越快，增加了溶解氧的消耗。6.但是，当前化学需氧量浓度遥感反演使用的数据多局限于水体反射光谱，结合环境气象要素的研究甚少，而且水体化学需氧量浓度受到环境气象要素的影响，具有明显的区域性差异。因此，迫切需要一种考虑环境气象要素影响的水体化学需氧量浓度遥感监测方法。技术实现要素：7.基于上述存在的问题，本发明提出一种水体化学需氧量浓度的反演方法，可作为传统水质监测手段的辅助方法，节省人力、财力，提高水体化学需氧量浓度监测的广度、质量和效率。8.本发明提供的一种水体化学需氧量浓度的反演方法，包括：9.s10、采集待测点的水体数据，将其编码为水体特征向量；10.s20、将水体特征向量输入改进的随机森林，获得待测点的水体化学需氧量浓度。11.进一步地，改进的随机森林的训练方法包括：12.s21、采用抽样技术从样本训练集中产生t个训练子集，利用每个训练子集，生成对应的决策树{h1(x),h2(x),…,ht(x)}，这些决策树组成随机森林；13.s22、从水体特征向量中选择q个特征，在决策树的每个节点按照预定的规则选择最优属性进行分裂,、生长，过程中完全分裂不剪枝；14.s23、计算每棵决策树hi(x)的权重；15.s24、将训练样本数据x与其对应的化学需氧量浓度y输入随机森林，获得化学需氧量浓度预测的结果，表示为：[0016][0017]式中，各决策树的预测结果分别乘上对应的权重后相加，优选的，式中先对pi进行归一化；[0018]s25、对随机森林的性能进行评价，以获得最优的随机森林。[0019]进一步地，决策树hi(x)权重为构建决策树hi(x)的所有特征对应的相关系数的绝对值之和。[0020]进一步地，相关系数为第i个特征与化学需氧量浓度的皮尔逊系数。[0021]进一步地，在s25中，评价的方法包括：[0022]通过循环遍历t和q，执行步骤s21-s24，将输出的化学需氧量浓度预测值与真实值进行比较，选择出表现最好的t和q作为最终的随机森林的参数；其中，t的范围为1～样本训练集中样本数量p，q的范围为1～水体特征向量数n。[0023]进一步地，在步骤s10中，水体数据包括水体反射光谱、气象数据和/或化学需氧量浓度。[0024]进一步地，在步骤s10中，对水体反射光谱进行筛选。[0025]进一步地，在步骤s10中，采用连续投影算法对水体反射光谱特征进行筛选。[0026]进一步地，在步骤s10中，同一样本采样点获取多条光谱曲线，然后取这些曲线的平均值作为该样本的最终水体反射光谱曲线。[0027]进一步地，在步骤s10中，将同一样本点获取的光谱曲线，进行平滑、去噪。[0028]本发明所述的一种水体化学需氧量浓度的反演方法，具有如下有益效果：[0029](1)本发明对光谱进行了平滑、归一化，降低了背景噪声对化学需氧量反演的影响，光谱特征选择将优选出的波长按其对化学需氧量贡献值的大小进一步筛选，剔除不敏感的波长，降低模型的复杂度。[0030](2)本发明针对当前水质监测局限于水体反射光谱，而忽略环境要素对反演精度的影响的问题，在建模过程中考虑环境要素，解决了环境要素对化学需氧量浓度反演效果的影响，所构建模型具有预测精度高，对环境差异具有较好适应能力等特点。[0031](3)本发明针对传统随机森林中不同泛化能力决策树具有相同权重的问题，将提出的改进随机森林方法应用于光谱数据处理领域，实现了化学需氧量浓度的预测，提高了化学需氧量浓度反演精度和效率。[0032](4)本发明的方法适用性较高，具有高精度、高灵活性和强稳健性，为水体化学需氧量浓度监测提供了新思路，提高化学需氧量监测的广度、质量和效率。附图说明[0033]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。[0034]图1为本发明一个实施例的反演方法的流程示意图；[0035]图2为本发明一个实施例的改进的随机森林的训练流程示意图。具体实施方式[0036]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。[0037]本发明提出的水体化学需氧量浓度的反演方法，如图1所示，包括：[0038]s10、采集待测点的水体数据，将其编码为水体特征向量；[0039]s20、将水体特征向量输入改进的随机森林，获得待测点的水体化学需氧量浓度。[0040]在步骤s10中，水体数据包括水体反射光谱、气象数据和/或化学需氧量浓度。水体反射光谱包括多个波段，气象数据包括风速、温度等。如背景技术所述，气象也对水体的化学需氧量有较大影响。将这些数据转换为向量，比如通过word2vec、one-hot编码等方式对数据编码。[0041]反演时，水体数据包括反射光谱和气象数据，训练时，水体数据包括反射光谱、气象数据和化学需氧量浓度，此时的化学需氧量浓度通过水样在实验室分析获取。[0042]改进的随机森林训练所需的数据集可以在水体(比如某一湖泊)处进行采集。比如，采集水体中多个样点的水体反射光谱、环境气象要素和水样，水样当天送至实验室内进行分析获取化学需氧量浓度，优选的，同一样本采样点获取多条光谱曲线，然后取这些曲线的平均值作为该样本的最终水体反射光谱曲线。也可以将同一样本点获取的多条光谱曲线，进行平滑、去噪，比如使用savitzky-golay平滑方法(当然，还有很多方法可以平滑去噪，例如多项式拟合法)对每条光谱曲线进行平滑。[0043]在一个实施例中，还可以对水体特征向量进行归一化，例如进行等比例缩放,即通过线性函数将特征向量转换到[0,1]的范围，归一化公式如下：[0044][0045]式中xnorm为归一化后的特征向量，x分别为水体特征向量(包括反射光谱特征向量、气象特征向量)，xmax分别为特征向量的最大值，xmin为特征向量的最小值。[0046]在一个实施例中，光谱特征数量较多，比如光谱包含270个波段，则每个波段是一个特征，这样的计算量较大。本发明优选对光谱特征进行筛选，以降低本发明后期随机森林的计算量。光谱特征选择采用连续投影算法，它是一种前向循环选择方法，从一个波长开始每次循环，计算它在未选入的波长上的投影，将投影向量最大的波长引入到波长组合直到循环a次。每一个新选入的波长都与前一个线性关系最小。选择其中a个光谱特征作为最终的光谱特征选择结果。也可以对水体光谱的归一化结果实施连续投影算法。[0047]连续投影算法步骤如下：[0048]s11：初始化，在光谱矩阵中任选一列向量psj，记为psk(0)(即k(0)＝j)；[0049]s12：集合s定义为：即还没有被选择进波长链的列向量，分别计算psj对s中向量的投影向量：[0050][0051]s13：记录最大投影的序号：[0052][0053]s14：将最大投影作为下轮的投影向量[0054][0055]s15：q＝q+1，如果q《n，回到步骤2继续投影。[0056]将p个样点获取的所有归一化特征水体反射特征向量ps、风速特征向量unorm、温度特征向量tnorm组成自变量其中p为样点总数，包含m个选择的光谱特征以及温度和风速两个环境特征，共n个特征。为了方便表示，设n＝m+2，则x为p行n列的二维矩阵，xij即表示第i个样本的第j个特征。[0057]连续投影算法是现有的方法，不再赘述。[0058]在步骤s20中，水体特征向量由筛选后的光谱特征向量、风速特征向量、温度特征向量拼接组成特征向量x，水体特征向量的数量设置为n。将特征向量x和化学需氧量浓度y作为训练样本集输入改进的随机森林(可以由100～200个决策树组成，决策树就是由不同特征经过各种组合构建成的，数量可根据实际情况进行调整)，然后输出预测的水体化学需氧量浓度。[0059]传统随机森林由多个决策树组成，对于随机森林{h1(x),h2(x),…,ht(x)}，有输入向量x，每个决策树相对独立的对x进行结果预测，随机森林模型获得所有决策树的预测结果之后，通过设定的统计规则给出模型整体的预测结果，一般地，对于回归问题，随机森林通过计算所有决策树给出的预测结果的平均数作为最终的预测结果。而本发明针对具有不同预测能力的决策树却具有相同的权重的不合理机制，通过相关系数指标来分配决策树的权重，从而提高模型整体的预测准确率。[0060]改进的随机森林的训练方法，如图2所示，包括：[0061]s21、采用抽样技术从样本训练集中产生t个训练子集，利用每个训练子集，生成对应的决策树{h1(x),h2(x),…,ht(x)}，这些决策树组成随机森林；[0062]s22、从n个特征向量中选择q个特征，在决策树的每个节点按照预定的规则选择最优属性进行分裂,每个决策树都得到最大限度的生长，过程中完全分裂不剪枝；[0063]步骤s21、s22与传统的随机森林的方法一样，此处不再赘述。[0064]s23、对于每棵决策树hi(x)，所选特征对应的相关系数ri＝{ri1,ri2,…,riq}，ri∈r，计算权值：[0065][0066]式中，pi为构建决策树hi(x)的所有特征对应的相关系数的绝对值之和，rij为决策树hi(x)第j个特征所对应的相关系数。对于每个决策树，使用的训练子集不相同，虽然均使用了q个特征，但是每个决策树使用的特征是不相同的，即相当于是不同的样本组合、特征组合。[0067]其中，相关系数ri为第i个特征与化学需氧量浓度的皮尔逊系数，计算方法包括：[0068]样本总数为p，特征数量为m，样本对应化学需氧量浓度y，根据公式其中rj为第j个特征与化学需氧量的相关系数，和分别是x中的第j个特征和y的统计数据的平均值，计算得到皮尔逊相关系数集合r＝{r1,r2,…,rm},m∈{1,2,…,n}。[0069]s24、将训练样本数据x与其对应的化学需氧量浓度y输入随机森林，获得化学需氧量浓度预测的结果，表示为：[0070][0071]式中，各决策树的预测结果分别乘上对应的权重pi后相加，即获得最终的化学需氧量浓度。优选的，式中先对pi进行归一化。[0072]s25、对模型性能进行评价。具体为：通过循环遍历t和q，尝试每一种可能性，将输出的化学需氧量浓度预测值与真实值进行比较，选择出表现最好的参数作为最终的结果(调节优化属于现有技术)，其中，t的范围为1～样本训练集中样本数量p，q的范围为1～水体特征向量数n。[0073]在一个实施例中，评价的指标为决定系数r2，计算方法为：[0074][0075]式中：p代表样本数；yi表示第i个样本化学需氧量实测值；表示第i个样本化学需氧量估计值；表示p个样本的化学需氧量实测值的平均值。[0076]将本发明结果与不考虑环境特征的传统随机森林化学需氧量反演模型以及考虑环境特征的传统随机森林化学需氧量反演模型进行对比，模型精度如表1所示：[0077]表1模型精度对比[0078][0079]本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!