一种基于Django的飞行数据融合复盘系统的制作方法

计算;推算;计数设备的制造及其应用技术一种基于django的飞行数据融合复盘系统技术领域1.本发明涉及数据工程技术领域，尤其涉及一种基于django的飞行数据融合复盘系统。背景技术：2.django是一个基于python的开放源代码的web应用框架，采用了类似mvc设计模式的mtv框架模式，即模型m，视图v和模板t。模型m用来定义数据结构，并提供数据库表管理机制；模板t用于定义html格式即前端ui界面，通过视图v提取模型m的数据填充html文件；视图v用于处理业务逻辑，接收模板t发送的http请求后实现业务逻辑，并从模型m获取客户端需要的数据，把数据以一定的格式传递给模板t，然后django把模板t以http响应格式发送给浏览器，从而完成数据模型、业务逻辑、前端逻辑的分层。结合django主题模板simpleui，优化界面，简化配置，提高了可扩展性、代码复用率和开发效率。由于django在近年来的迅速发展，应用越来越广泛，使用这种架构，可以方便、快捷地创建高品质、易维护、数据库驱动的应用程序。3.飞行数据融合复盘系统是指将批次数据卸载到地面存储设备后，对数据进行存储、解析、回放的过程。传统方法采用表格的形式存储和回放数据，对于非结构化的照片等数据检索困难，解析过程通过客户端软件手动查找导入文件，数据管理和运用效率低下。随着系统处理的数据规模越来越大，软件复杂度越来越高，安全性要求也越来越高。现有的融合复盘软件系统开发效率低，系统可靠性低，检索效率低，数据处理操作流程不完整且离散，自动化程度低，安全性低等问题，已经无法保障复盘任务的数据运用需求。技术实现要素：4.针对现有数据融合复盘技术中数据处理流程操作繁琐，自动化程度低，安全性低等问题，本发明的发明目的在于提供了一种基于django的飞行数据融合复盘系统，以解决上述问题。5.本发明的发明目的通过以下技术方案实现：6.一种基于django的飞行数据融合复盘系统，在部署系统中硬件环境采用一台应用服务器、一台数据库服务器、一个磁盘阵列组成服务器端，多台客户机组成客户端，数据库服务器和磁盘阵列作为存储模块供应用服务器使用，应用服务器和客户端通过交换机进行交联，客户机通过web浏览器提供统一门户，与应用服务器进行交互；7.应用服务器作为数据中心用于部署复盘应用系统，复盘应用系统包括数据管理模块，数据管理模块包含模板层、模型层和视图层，模型层用来定义飞行数据的数据结构，并对飞行数据进行管理；模板层用于生成各种http界面，视图层用于从模型层调取所需的飞行数据填入http界面后发送到客户端浏览器供用户进行飞行数据的新增、解析清洗转换，在接收到客户端浏览器以http请求方式发送的操作请求后调取模型层完成相应的逻辑操作。8.较佳地，当用户在http界面输入某批次的原始数据的飞行任务元数据并提交新增请求后，视图层接收该新增请求，调用模型层将输入的飞行任务元数据存储入数据库服务器，与对应批次的原始数据文件夹进行关联，并将执行结果填入到飞行任务信息界面发送给客户端浏览器进行展示。9.较佳地，当用户选定原始数据并提交解析清洗转换指令，视图层接收解析清洗转换请求，会建立后台执行任务，调用模型层将待处理原始数据进行解析处理得到标准数据文件，存储到数据库服务器的标准数据目录中，并将标准数据文件导入数据库服务器中相应业务数据表；根据清洗规则将标准数据文件清洗生成干净数据文件；根据复盘任务需求将干净数据文件转换生成主题数据文件，并通过模型层以支持主题数据的检索、修改；最后生成主题数据文件存储到主题数据目录中。10.较佳地，复盘应用系统还包含配置管理模块，用于配置存放原始数据的nas服务器目录路径、nas服务器节点ip、应用服务器ip、磁盘阵列上的数据库备份路径。11.较佳地，复盘应用系统还包含元数据管理模块，用于包括数据处理状态、中英文对照信息、文件属性表的数据库信息管理；12.元数据管理模块会在数据管理模块的飞行数据解析清洗转换过程的各个阶段数据生成数据处理状态并将生成的数据存入相应的标准数据表、干净数据表、主题数据表，数据管理模块会通过视图层调用元数据管理模块中各数据表将各数据处理状态填入到http界面后反馈给前端浏览器；13.中英文对照信息表对上述标准数据表、干净数据表、主题数据表的表名、字段名的含义进行自动中文转换，在界面上显示中文名称；14.文件属性表存储nas服务器目录中存放的所有文件的属性信息，在数据管理模块进行数据目录操作后会自动更新这些文件属性表。15.较佳地，元数据管理模块中的标准数据表、干净数据表、主题数据表、中英文对照信息表、文件属性表的管理通过simpleui主题模板来实现。16.较佳地，复盘应用系统还包含复盘应用模块，采用基于地图引擎的webgis技术实现，数据管理模块在完成主题数据文件存储到主题数据目录中后会发送消息通知复盘回放模块，复盘回放模块在接收到数据管理模块发布的通知消息后，将当前批次的主题数据同步到复盘回放模块数据表中，用户创建复盘回放任务，选择指定批次数据进行回放，通过可视化界面在地图上展示飞行任务时间线，复盘回放当前批次飞行任务。17.本发明的有益效果在于：18.本发明基于django网页架构开发，采用mtv分层开发模式，提升了系统开发效率；并且提供统一运行门户，用户能够通过web页面轻松地进行操作，实现结构化/非结构化数据的解析、存储、转换、运用等全生命周期流程，基于元数据技术实现任务信息、数据处理状态、文件属性的管理，通过授权访问保障数据安全，并提供了丰富的日志、配置等维护工具，形成全流程全要素自动化运维管控能力，达到飞行数据复盘评估的目的，让用户的操作更人性化、简洁化。19.除以上所述的本发明解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的优点外。为使本发明目的、技术方案和有益效果更加清楚，下面将结合本发明实施例中的附图，对本发明所能解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的优点做更为清楚、完整的描述。附图说明20.图1是本发明中飞行数据融合复盘系统部署架构图。21.图2是本发明中飞行数据融合复盘系统功能架构图。22.图3是本发明中飞行数据融合复盘系统主线流程图。23.图4是本发明实施例中系统配置管理界面示意图。24.图5是本发明实施例中元数据管理界面示意图。25.图6是本发明实施例中数据管理界面示意图。26.图7是本发明实施例中数据处理状态界面示意图。27.图8是本发明实施例中生成的各类数据浏览界面示意图。具体实施方式28.下面结合附图和实施例对本发明作进一步的详细说明。29.本实施例所示的一种基于django的飞行数据融合复盘系统，如图1所示，在部署系统中硬件环境采用一台应用服务器、一台数据库服务器、一个磁盘阵列组成服务器端，多台客户机组成客户端，数据库服务器和磁盘阵列作为存储模块供应用服务器使用，应用服务器和客户端通过交换机进行交联，客户机通过web浏览器提供统一门户，与应用服务器进行交互。30.参见图2所示，应用服务器作为数据中心用于部署复盘应用系统，包括配置管理模块、数据管理模块、元数据管理模块、复盘回放模块。其中，数据管理模块会将磁盘阵列中存储的非结构化的原始数据文件转换为结构化的飞行数据后存入数据库服务器中，响应客户端发出对数据库服务器中的飞行数据的请求访问。磁盘阵列中非结构化的原始数据可以是由用户将数据卡中的文件拷贝到磁盘阵列中，也可以是其它任何一种方法，本实施例不进行限定。下面对各个模块进行详细说明。31.数据管理模块包含模板层、模型层和视图层，模型层用来定义飞行数据的数据结构，并对飞行数据进行管理；模板层用于生成各种http界面，所述视图层用于从模型层调取所需的飞行数据填入http界面后发送到客户端浏览器供用户进行飞行数据的新增、解析清洗转换等操作，在接收到客户端浏览器以http请求方式发送的操作请求后调取模型层完成相应的逻辑操作。具体的参见图3所示。32.如图5所示，当用户在飞行数据任务信息界面输入某批次的原始数据的飞行任务元数据并提交新增请求后，视图层在接收到新增请求后，调用模型层将输入的飞行任务元数据存储入数据库服务器，与对应批次的原始数据文件夹进行关联，并将执行结果填入到飞行任务信息界面发送给客户端浏览器进行展示，用户选中新增的行，点击“跳转到选中的数据目录”，会跳转到数据目录界面的当前操作目录下，如图6所示。其中，飞行任务元数据用于描述原始数据，可以根据业务需求自定义字段，例如当前飞行任务的起降时间、时长、机号、操作员、科目名称、任务区域、记录文件路径等信息。33.参见图6所示，数据目录界面上显示从磁盘阵列获取的目录结构，用户选定左侧待处理原始数据复选框，点击解析清洗转换后，视图层在接收到解析清洗转换请求后，会建立后台执行任务，调用模型层将待处理原始数据进行解析处理得到csv等标准格式标准数据文件，存储到数据库服务器的标准数据目录中，并将标准数据文件导入数据库服务器中相应业务数据表；根据清洗规则(包括非空值、重复值、异常值、无用值校验，具体规则根据具体数据格式而定)将标准数据文件清洗生成干净数据表；根据复盘任务需求将干净数据文件转换生成主题数据文件，并通过模型层以支持主题数据的检索、修改等功能；最后生成主题数据标准csv文件存储到主题数据目录中；完成后会发送消息通知复盘回放模块，并将执行结果填入到飞行任务信息界面发送给客户端浏览器进行展示。在数据目录界面还支持下载、删除、复制、剪切、重命名和目录检索功能，用户点击目录左侧复选框选定后，点击上述功能按钮，将目录操作命令通过http请求发送到django服务器，视图层在接收到用户请求后完成操作，将执行结果填入模板层生成的html界面发送给浏览器并在界面上显示结果，并将下载、删除、复制、剪切、重命名等操作信息记录到元数据管理模块的文件属性表。其中，下载信息包括下载次数、时间、人员等记录。34.参见图4所示所述配置管理模块，用于配置存放原始数据的nas服务器目录路径、nas服务器节点ip、应用服务器ip、磁盘阵列上的数据库备份路径等。35.nas服务器是指将磁盘阵列以添加网络位置的方式映射到应用服务器的盘符上；在首次使用系统时，用户需要将磁盘阵列上的nas服务器目录以网络位置的方式映射到django应用服务器的盘符上，映射方式包括：共享文件夹、ftp文件服务器等，共享文件夹路径如“servershare”，ftp文件服务器路径如ftp://192.168.10.1。，然后用户在配置管理界面中，将上述路径配置到nas服务器目录路径中。36.配置nas服务器节点ip、应用服务器ip用于与外部应用交联；37.配置数据库备份路径用于进行数据库备份、恢复等运维操作，用户通过一键备份执行数据库服务器的全量备份，数据以sql文件的方式备份到配置的数据库备份路径中，sql文件存储在以“年月日-时分秒”格式命名的文件夹中；用户通过“一键恢复”，选择相应的sql文件，实现数据库服务器的一键恢复。其他配置可以根据需求进行添加，django服务器中包含config目录，配置信息可以轻松地写入到.conf文件中供用户读取。38.所述元数据管理模块用于包括数据处理状态、中英文对照信息、文件属性表的数据库信息管理。39.元数据管理模块会在数据管理模块的飞行数据解析清洗转换过程的各个阶段数据生成数据处理状态并将生成的数据存入相应数据表(标准数据表、干净数据表、主题数据表)。数据处理状态包括飞行数据的批次、生成状态、生成时间、生成路径等描述信息。数据管理模块会通过视图层调用元数据管理模块中各数据表将各数据处理状态填入到http界面后反馈给前端浏览器。40.中英文对照信息表对上述标准数据表、干净数据表、主题数据表的表名、字段名的含义进行自动中文转换，在界面上显示中文名称。41.文件属性表存储nas服务器目录中存放的所有文件的路径、大小、创建时间、修改/上传时间、所有者、创建/上传者、下载次数/人员/时间等属性信息，在数据管理模块进行数据目录操作后会自动更新这些文件属性表。42.标准数据表、干净数据表、主题数据表、中英文对照信息表、文件属性表的管理可以直接通过simpleui主题模板来实现，不需要开发模板和视图，因为simpleui内置了通用的模板和视图，我们只需在生成的admin.py中配置显示参数，来实现对数据模型的各种业务逻辑，同时也支持修改默认的模板。大大节省前端逻辑的开发量。43.如图7所示，数据管理模块执行解析清洗转换过程，数据解析后，会通过元数据管理模块自动更新标准数据表的生成状态、生成时间、生成路径信息；数据清洗后，会更新干净数据表的生成状态、生成时间、生成路径信息；数据转换后，会更新主题数据表的生成状态、生成时间、生成路径信息。数据状态页面展示批次数据的处理状态，带复选框的下拉列表供用户配置要显示的字段，支持默认字段、全部字段、配置默认字段。参见如图8所示，生成的标准数据表、干净数据、主题数据表浏览时，表名、字段名会通过元数据管理模块中英文对照信息表进行自动中文转换，在界面上显示中文名称。44.复盘应用模块，采用基于地图引擎的webgis技术实现。复盘回放模块为具有独立功能的软件，并非通过django实现，本发明不具体描述。传统方法中，复盘回放模块所需数据都要进行低效的人工整编后才能使用；而本发明方法在录入飞行任务信息后，可一键实现原始数据的解析、清洗、转换、复盘应用的过程，将整个流程串联起来；复盘回放模块在接收到数据管理模块发布的通知消息后，将当前批次的主题数据同步到复盘回放模块数据表中，用户创建复盘回放任务，选择指定批次数据进行回放，可以通过可视化界面在地图上展示飞行任务时间线，复盘回放当前批次飞行任务中的坐标轨迹、状态、事件等信息。45.本发明提供一种基于django的飞行数据融合复盘系统，具体实现该技术方案的方法和途径很多，如操作系统可以支持linux和windows各版本，应用服务器也可以通过java实现等。所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，对附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!