工业大数据采集系统
日期：2018-06-19 / 人气： / 来源：未知
工业大数据最基础的工作当然是 数据采集 ，没有数据，一切跟大数据相关的技术、应用都是空中楼阁，那么，工业大数据的采集和传统的互联网大数据采集有哪些不同，又会涉及到哪些技术呢？今天我们就来聊一聊。
在谈工业大数据采集之前，先看看都有哪些类型的工业数据需要采集。互联网的数据主要来自于互联网用户和服务器等网络设备，主要是大量的文本数据、社交数据以及多媒体数据等，而工业数据主要来源于机器设备数据、工业信息化数据和产业链相关数据。这些上一部分我们已经基本谈到了。在此不再赘述。
那么这些数据从类型上能分为哪些类型呢？主要包括以下几种：
1、海量的Key-Value数据。在传感器技术飞速发展的今天，包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用，而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据，因此，这部分数据的特点是每条数据内容很少，但是频率极高。
2、文档数据。包括工程图纸、仿真数据、设计的CAD图纸等，还有大量的传统工程文档。
3、信息化数据。由工业信息系统产生的数据，一般是通过数据库形式存储的，这部分数据是最好采集的。
4、接口数据。由已经建成的工业自动化或信息系统提供的接口类型的数据，包括txt格式、JSON格式、XML格式等。
5、视频数据。工业现场会有大量的视频监控设备，这些设备会产生大量的视频数据。
6、图像数据。包括工业现场各类图像设备拍摄的图片（例如，巡检人员用手持设备拍摄的设备、环境信息图片）。
7、音频数据。包括语音及声音信息（例如，操作人员的通话、设备运转的音量等）。
8、其他数据。例如遥感遥测信息、三维高程信息等等。
那么，对如此海量的工业数据进行采集，主要有哪些技术难点呢？主要包括以下几方面：
1、数据量巨大。任何系统，在不同的数据量面前，需要的技术难度都是完全不同的，我们设计一个数据采集软件，如果每秒采集1000条，我相信大部分程序员都可以很好地完成这个工作，如果是10W呢？1000W呢？甚至几十亿呢？如果频率提高到ms级呢？这就是技术难度非常复杂的任务了。
如果单纯是将数据采到，可能还比较好完成，但采集之后还需要处理，因为必须考虑数据的规范与清洗，因为大量的工业数据是“脏”数据，直接存储无法用于分析，在存储之前，必须进行处理，对海量的数据进行处理，从技术上又提高了难度。
2、工业数据的协议不标准。互联网数据采集一般都是我们常见的HTTP等协议，但在工业领域，会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议，而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议，导致在工业协议的互联互通上，出现了极大地难度。很多开发人员在工业现场实施综合自动化等项目时，遇到的最大问题及时面对众多的工业协议，无法有效的进行解析和采集。
3、视频传输所需带宽巨大。传统工业信息化由于都是在现场进行数据采集，视频数据传输主要在局域网中进行，因此，带宽不是主要的问题。但随着云计算技术的普及及公有云的兴起，大数据需要大量的计算资源和存储资源，因此工业数据逐步迁移到公有云已经是大势所趋了。但是，一个工业企业可能会有几十路视频，成规模的企业会有上百路视频，这么大量的视频文件如何通过互联网顺畅到传输到云端，是开发人员需要面临的巨大挑战。
4、对原有系统的采集难度大。在工业企业实施大数据项目时，数据采集往往不是针对传感器或者PLC，而是采集已经完成部属的自动化系统上位机数据。这些自动化系统在部署时厂商水平参差不齐，大部分系统是没有数据接口的，文档也大量缺失，大量的现场系统没有点表等基础设置数据，使得对于这部分数据采集的难度极大。
5、安全性考虑不足。原先的工业系统都是运行在局域网中，安全问题不是突出考虑的重点。一旦需要通过云端调度工业之中最为核心的生产能力，又没有对安全的充分考虑，无异于“傻白甜”彻底暴露在“猥琐男”面前！一旦造成损失，是难以弥补的。2015年，受网络安全事件影响的工业企业占比达到30%，因病毒造成停机的企业高达20%。仅美国国土安全部的工业控制系统网络应急响应小组(ICS-CERT)就收到了295起针对关键基础设施的攻击事件。不久之前，德国一家钢铁厂遭受高级持续性威胁(APT)网络攻击，导致工控系统的控制组件和整个生产线被迫停止运转，损失惨重。前一段时间的半个美国网络瘫痪，对于工业来说也算是“警钟长鸣”。
因此，在选择工业大数据的采集方案时，一定要慎重选择，不要迷恋新技术，更多的要考虑安全、可靠、稳定，毕竟工业领域出现问题是有可能造成无法挽回的损失的。
在谈工业大数据采集之前，先看看都有哪些类型的工业数据需要采集。互联网的数据主要来自于互联网用户和服务器等网络设备，主要是大量的文本数据、社交数据以及多媒体数据等，而工业数据主要来源于机器设备数据、工业信息化数据和产业链相关数据。这些上一部分我们已经基本谈到了。在此不再赘述。
那么这些数据从类型上能分为哪些类型呢？主要包括以下几种：
1、海量的Key-Value数据。在传感器技术飞速发展的今天，包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用，而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据，因此，这部分数据的特点是每条数据内容很少，但是频率极高。
2、文档数据。包括工程图纸、仿真数据、设计的CAD图纸等，还有大量的传统工程文档。
3、信息化数据。由工业信息系统产生的数据，一般是通过数据库形式存储的，这部分数据是最好采集的。
4、接口数据。由已经建成的工业自动化或信息系统提供的接口类型的数据，包括txt格式、JSON格式、XML格式等。
5、视频数据。工业现场会有大量的视频监控设备，这些设备会产生大量的视频数据。
6、图像数据。包括工业现场各类图像设备拍摄的图片（例如，巡检人员用手持设备拍摄的设备、环境信息图片）。
7、音频数据。包括语音及声音信息（例如，操作人员的通话、设备运转的音量等）。
8、其他数据。例如遥感遥测信息、三维高程信息等等。
那么，对如此海量的工业数据进行采集，主要有哪些技术难点呢？主要包括以下几方面：
1、数据量巨大。任何系统，在不同的数据量面前，需要的技术难度都是完全不同的，我们设计一个数据采集软件，如果每秒采集1000条，我相信大部分程序员都可以很好地完成这个工作，如果是10W呢？1000W呢？甚至几十亿呢？如果频率提高到ms级呢？这就是技术难度非常复杂的任务了。
如果单纯是将数据采到，可能还比较好完成，但采集之后还需要处理，因为必须考虑数据的规范与清洗，因为大量的工业数据是“脏”数据，直接存储无法用于分析，在存储之前，必须进行处理，对海量的数据进行处理，从技术上又提高了难度。
2、工业数据的协议不标准。互联网数据采集一般都是我们常见的HTTP等协议，但在工业领域，会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议，而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议，导致在工业协议的互联互通上，出现了极大地难度。很多开发人员在工业现场实施综合自动化等项目时，遇到的最大问题及时面对众多的工业协议，无法有效的进行解析和采集。
3、视频传输所需带宽巨大。传统工业信息化由于都是在现场进行数据采集，视频数据传输主要在局域网中进行，因此，带宽不是主要的问题。但随着云计算技术的普及及公有云的兴起，大数据需要大量的计算资源和存储资源，因此工业数据逐步迁移到公有云已经是大势所趋了。但是，一个工业企业可能会有几十路视频，成规模的企业会有上百路视频，这么大量的视频文件如何通过互联网顺畅到传输到云端，是开发人员需要面临的巨大挑战。
4、对原有系统的采集难度大。在工业企业实施大数据项目时，数据采集往往不是针对传感器或者PLC，而是采集已经完成部属的自动化系统上位机数据。这些自动化系统在部署时厂商水平参差不齐，大部分系统是没有数据接口的，文档也大量缺失，大量的现场系统没有点表等基础设置数据，使得对于这部分数据采集的难度极大。
5、安全性考虑不足。原先的工业系统都是运行在局域网中，安全问题不是突出考虑的重点。一旦需要通过云端调度工业之中最为核心的生产能力，又没有对安全的充分考虑，无异于“傻白甜”彻底暴露在“猥琐男”面前！一旦造成损失，是难以弥补的。2015年，受网络安全事件影响的工业企业占比达到30%，因病毒造成停机的企业高达20%。仅美国国土安全部的工业控制系统网络应急响应小组(ICS-CERT)就收到了295起针对关键基础设施的攻击事件。不久之前，德国一家钢铁厂遭受高级持续性威胁(APT)网络攻击，导致工控系统的控制组件和整个生产线被迫停止运转，损失惨重。前一段时间的半个美国网络瘫痪，对于工业来说也算是“警钟长鸣”。
因此，在选择工业大数据的采集方案时，一定要慎重选择，不要迷恋新技术，更多的要考虑安全、可靠、稳定，毕竟工业领域出现问题是有可能造成无法挽回的损失的。
作者：hzjuxadmin
上一篇：MES系统看板管理的效果
下一篇：MES系统机床CNC和PLC机器人数据采集
推荐内容 Recommended
相关内容 Related
- 自动化设备数据采集系统10-21
- 设备生产数据采集系统10-12
- 数据采集系统平台介绍09-30
- 生产数据采集系统介绍09-26
- PIC数据采集系统09-23