分析一站式可视化数据运维管理平台建设中全链路的应用价值
梁仲峰 陆冰芳[摘 要]随着“云物智移”技术成越发成熟前沿技术定程上颠覆了电能质量监测、电能量数据、配设备数据分析等电业传统信息处理和数据分析方法。
目前公司数据应用呈现出显著数量激增、类型多样、响应敏捷要持续提升发展态势对各业系统数据融合、数据共享也提出更多更高要研究分析能力、数据处理能力更强数据分析方式具有重要义。
基础上式可视化数据维运管理平台是数据背景下必然发展方向而这管理平台建设全链路數据管理方式发挥着重要作用。
[关键词]式;可视化;数据运维管理平台建设;全链路;应用价值03969673 09000073[图分类]933[献标识码][编]67309（00）0003 全链路数据管理概述数据全链路数据管理前期基础工作是归纳行业领域数据处理流程总结现有数据处理平台传统数据处理基流程如图所示。
通对数据各基流程接驳向上屏蔽底层数据传输、环境配置等细节向数据开发人员提供全链路数据开发工具使数据开发人员能从烦琐数据传输、环境配置等任放出专业敏捷开发。
由数据开发会不断产生新数据数据管理概念也因而成日常应用程关键。
因数据会不断地衍生出新数据任何数据改动都会导致连串连锁反应。
了理清数据处理程新数据与原有数据关系评估对现有数据改动会造成影响和风险要记录数据从产生到被消费元数据开展全链路数据管理功能具有充足必要性数据采集、数据开发（离线实计算）、存储、线上回流、可视化展示等是全链路数据管理基步骤。
数据采集数据采集是对数据进行L（xrrrL）操作对数据进行抽取（xr）、换（rr）、加（L）到目端程。
对数据采集系统主要分以下3类系统日志采集系统如l;络数据采集系统如 、rlr、r等;数据集成系统如QL、rl、QL等。
数据开发数据开发是复杂环节这环节用户可以使用批处理工具、实流处理工具和机器学习算法进行开发挖掘出潜藏海量数据价值。
但是无论采用何种技术只要使用开命令行方式执行错命令上万行命令里再重新出错误命令将会付出比较高昂代价。
3 数据储存数据存储是对海量异构数据提供存储功能了满足企业数据多样化存储和应用要数据存储应含结构化数据存储、非结构化数据存储和序数据存储。
数据回流数据回流指将处理数据回到非分布式数据库上供门户系统展示使用。
因要将用户利用分布式集群计算结数据回流到非分布式数据库再提供给门户系统做展示使用。
5 可视化展示可视化展示指提供常用普适数据可视化功能使开发人员能更便捷地探原始数据或更直观明了地展示开发成数据。
全链路数据管理就是上述各步骤提供无缝衔接集成开发环境（）以降低数据开发人员技术门槛充分调动企业数据挖掘活力。
目前行业给出方案是将各步骤功能封装成基模板可复用定制模块。
定制模块集成方面通基控制流静态代码检测算法检测出开算法对输入输出参数件操作并给用户修改提示。
由用户无须底层组件编程集成问题只要通选择模块并进行配置（如配置数据、配置机器学习参数等）即可完成数据采集、数据开发、存储、线上回流、可视化展示等任。
全链路数据管理价值数据结构模型和核心路径是通采集、存储、处理、分析、应用、可视化展现数据全生命周期即整数据链条。
多渠道数据集成、企业级数据存储、离线批处理计算、实流处理计算、可视化工作流开发等方面都存重要作用。
有利多渠道数据集成技术研究目前数据集成平台仅根据应用接入了部分结构化数据包括全部系统、全部业数据表;已接入数据含图片、件、音视频等非结构化数据;也提供实或准实数据调、计量等准实数据主要通海量准实数据平台提供。
了扩平台数据接入围研究离线导入包括QL、rl等主流关系数据库结构化数据技术。
研究离线导入包括数据、日志数据、语音视频等非结构化数据技术。
由业系统庞传感器测量技术、通信技术和计算机技术等电广泛使用平台要集成结构化数据、非结构化数据和实数据量非常庞。
了支持多渠道数据接入功能要研究高强数据压缩及加密传输技术以保证工作顺利、安全进行。
有利企业级数据存储技术研究了提升数据集成平台高端应用提供数据支撑能力数据集成平台要具备数据存储能力。
从存储技术看单数据存储技术很难满足企业数据存储和应用要应研究多类型存储支持技术包括L数据库、存数据库、分布式件系统、QL、QL等。
从数据产安全方面看数据产对企业而言是笔非常重要财产平台应充分考虑可靠性建设研究存储系统高可靠容灾设计即使某些节崩溃数据也能从别备份寻回。
从可持续发展方面看电数据量增长速快存储系统应具备动态扩展能力即存储系统可动态地随企业数据量增加实现从G到级动态扩容。
了保证平台对高层应用数据供给稳定性平台要具备不停机动态扩容能力。
3 有利离线批处理计算技术研究针对离线批处理系统具有先存储计算、数据准确性和全面性要高等特了支撑企业数仓建设数据清洗、换、汇集、主题提取等数据处理要研究R、v、g等批處理工具以支持数据计算作业。
研究rk分布式存计算框架存对数据集进行快速多次迭代计算以支持复杂数据挖掘算法和图计算算法。
研究丰富作业调策略支持包含分钟、、天、月级周期或非周期任执行策略以支持高级应用数据使高层应用可以按定义作业周期。
有利实流处理计算技术研究电力数据数据量、种类繁多与产生速快等特使状态监测与电能计量等数据逐渐构成了规模数据流。
研究全链路数据管理有利处理引擎处理这些规模实数据以覆盖实要极高流式作业场景。
研究基rk rg或r技术以满足毫秒级实计算场景如实推荐、用户行分析等。
5 有利实现可视化工作流开发研究全链路数据管理能促进拖拽式可视化工作流开发研究研究向上层屏蔽环境配置等技术细节使用户可以通简单b式拖拽操作完成整数据工作流任开发使业人员和数据开发人员能够专业问题而不是处理环境配置问题。
研究包括离线数据导入导出、线实数据接入、v程序、ll脚、v脚、机器学习等多种任模块化封装和配置集成。
6 有利非结构化数据检及检分析技术研究全链路数据管理能促进引擎研究向用户提供友分布式多用户能力全。
研究万级纬、千亿数据规模下向用户提供毫秒级高性能检分析以满足用户检分析场景。
3 结 语全链路数据管理方式能增强数据处理、分析能力能公司各业部门提供强有力多元化数据分析计算技术支撑能有效实现业数据全程信息化、标准化管控实现各专业数据流通和协促进数据共享和融合挖掘数据潜价值支撑和促进公司产业发展新布局落地使南公司“主两翼、国际拓展”产业发展新布局不断推进是跨专业业数据分析应用、各专业数据共享和融合业改革必然方向式可视化数据运维管理平台建设具有重要作用。
主要参考献[]赵丽梅张花基全链路平台构建高校数图馆盟运行体系研究[]图馆学刊09（）[]王晓磊马梅芳魏乐等基多体可视化展现平台企业业融合研究与应用[]计算机产品与流通07（7）[3]周周维黄德等种面向G应用数据共享平台实现方法[]全球定位系统07（6）[]丁继成吴谋炎赵琳等基嵌入式平台G组合导航步方法研究[]遥测遥控06（3） 相关热词 可视化管理平台式