|
|
|
随着传感器采集的数据越来越多,物联网领域的参数越来越多,数据之间的相关性不断增加,这些新的相关性将激发新的模型和视觉。
数据分析是一种勘探活动。陈光潜通过多年的经验教训总结,形成了一套产业大数据落地企业的逻辑和方法。
在海尔工作时,他领导了与大数据相关的项目,他知道并非所有的数据都是大数据。社会数据长期存在,质量数据长期存在。关键是这一堆数据能否通过深入分析数据,形成新的数据模型,实现新的价值组合?利用这些综合算法分析找出什么样的企业,什么样的数据,什么样的模型适合,是他进行工业大数据分析的基本方法。
他首先解决了工业数据难以理解的问题。工业对象系统明显,复杂度高,数据分析质量高。深入了解每一个行业都需要很长时间。
他在与清华大学、北京大学等大数据领域的医生交流时了解到,虽然医生对数据算法有着深入的研究,但由于缺乏商业模式培训,他们找不到数据背后的商业含义。而商业模式培训是非常重要的,它是解决特定行业问题的“解决者”。推销就是营销这种说法正确么
然后,建立业务模型,然后进行算法实现。算法形成后,我们反过来检测实际业务需求和业务模型之间的差异。实施过程是一个不断调整和训练的过程,直到模型能够解决业务问题,产生实际效果,形成闭环循环。
以陈光潜带领团队完成的工程机械大数据项目为例,根据他们绘制的工程机械经销商业务全景图,运用行业大数据分析,完成了代表企业的运营优化任务,而最终的项目表现也相当出色:
该项目成功预测了工程机械老客户潜在损失6亿元,其中重大损失2.8亿元,中等损失2.3亿元,潜在损失9000万元。
该项目成功为工程机械新客户开拓了8.2亿元的销售机会,其中大型机2.2亿元,中型机3.5亿元,小型机2.5亿元。
因此本算法是基于前端用户标签,如:相似度、消费者行为聚类、聚类等。这是基于算法模型。
在工业大数据存储领域,除了传统的关系数据库和分布式数据库外,还有一种非常必要和实用的数据库,即顺序数据库,在工业控制领域也称为实时数据库。
由于物联网领域的传感数据和控制数据几乎都是时间数据,陶建辉总结了工业大数据的时空特征。
时间序列数据库不仅仅是一个数据库,而是一个系统,包括数据的采集、压缩、存储、检索、各种工业接口的实时计算、基于监测数据的反馈和控制功能等
2。大容量数据的存储:由于数据采集是大量的监控数据,如果采用传统的数据库进行存储,会占用大量的空间。例如,如果在关系数据库中保存10000个监测点,则每个监测点每秒需要5-6tb的空间来收集一次双精度数据,如果考虑其他因素来建立索引,则需要15-20tb的空间。时间序列数据库采用特殊的压缩算法,存储容量可减少到1/40,因此有效存储只需要500GB的空间。
三。与工业接口集成的数据采集:工业通信和传输的协议种类繁多,大量的工业协议接口一般集成在时序数据库中,可以分析和传输各种工业协议。
具有流计算能力的工业大数据平台在2017年前后越来越流行,拥有大量开源和商用产品。
陶建辉抓住物联网大数据处理中上述开源大数据平台的低性价比,开发了专业高效的时间序列数据引擎tdengine,大大降低了应用开发的难度和成本,缩短了应用推向市场的时间。
在工业控制领域占有最大市场份额的实时数据库是美国osisoft公司的pi系统。由于在物联网领域的前瞻性布局,2017年获得软银投资。2018年5月上旬,在osisoft公司的年度用户大会上,PI系统不仅进行了新的升级,提供了机器学习能力,而且支持边缘和云计算,还尝试与区块链应用集成。
制造业领域的生产相关数据,我们称之为工业控制大数据。虽然不符合通常意义上的大数据标准,但仍然可以借鉴互联网大数据技术,创造新的价值。
根据通用电气的统计,工业企业中机器产生的数据量非常大,单位为TB。由于前期技术原因较多,对数据采集重视不够,没有充分利用这些数据,利用率不到2%。如何提高工控大数据的利用率,关系到企业的智能化水平,是工业企业面临的最大挑战和问题之一。
如果给出一个详细的定义,工业控制大数据是指工业领域的传感器等物联网技术所采集和传输的数据。由于数据量巨大,传统的信息技术已经无法处理、分析和显示相应的数据。在传统工业信息技术的基础上,借鉴互联网大数据技术,提出了一种新型的数据驱动工业信息技术及其应用。
工控大数据特别注重数据质量。如何控制好工控大数据的质量?郭朝晖的经验告诉我们,如果一个数据不与业务结合,没有人知道数据有多少问题。因此,工业控制的大数据必须首先“有用”。当数据有用时,数据质量将继续提高。当数据质量很高时,就有了使用的基础。只有当智力得到提升时,它才能具有成本效益。