物联网的概念

物联网在这几年跟大数据一样是火红的话题, 但物联网的概念在20年前就已经被提出来了, 以下是这个概念的演变:

▲1995年，物联网的概念最早出现在比尔盖茨1995年《未来之路》一书，在书中，比尔盖茨已经提及Internet of Things的概念，只是当时受限于无线网络、硬件及感测设备的发展，并未引起世人的重视。

▲1998年，美国麻省理工大学首先提出了当时被称作EPC系统的〝物联网〞的构想

▲1999年，美国Auto-ID首先提出〝物联网〞的概念，称物联网主要是建立在物品编码、RFID技术和互联网的基础上

▲2005年，ITU发布了《ITU互联网报告2005：物联网》，综合二者内容，正式提出〝物联网〞的概念，包包括了所有物品的联网和应用。

物联网的定义

目前较为公认的物联网的定义是：通过射频识别、红外传感器、全球定位系统、雷射扫描仪等信息感测设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以进行智能化识别、定位、跟踪、监控和管理的一种网络。

我们可以用几个情境来说明:

情境一:以前要监控河流的状况, 可能要有人到不同的河流分段分时间采样, 测量, 纪录, 输入到计算机, 分析结果, 采取行动等等. 有了物联网之后, 就在不同的河流分段加装传感器(Sensor), 透过互联网将数据传回监控中心加以实时的监控及分析, 这样就省掉了要人去采样, 测量, 记录及输入的工作.

情境二:工厂的制程品管员需要在制造的过程中定时抽样, 用仪器量测, 并进行SPC制程监控. 有了物联网后, 可以用AOI (自动光学检测) 量测并将数据透过网络传到MES(Manufacuring Execution System)直接进行实时的SPC分析. 这样就省掉了品管员去取样, 测量, 记录及输入的工作.

我们也可以透过手机去监控家里的家电, 或透过穿戴设备监控健康状况等等, 这些都是物联网的应用. 只要把物加上传感器或控制器就可透过互联网来监或控那个物, 这就是物联网最基本的观念.

物联网到大数据的发展

我们可以把物联网到大数据的发展分成: Things, Connection 跟Data三个轴来看, 一开始是个人计算机的发明, 接着就往联网的方向发展(Connection), 从局域网络, 互联网到无线网络. 另外, Things的链接也从局域网络的机台, 无线网络的手机, 平板, 到今天把穿戴设备, 监控录像, 医疗设备, 智能家电, 交通, 环境监控等等一堆Things都连上互联网, 形成了所谓的物联网. 随着互联网跟物联网的发展, Data也从原来的结构性数据, 文件, 图片, 声音, 行为追踪, 到视频等等.

物联网的架构

由以上的发展可将物联网表示成以下的架构, 由物理层, 感知层, 网络层, 应用层四层构建而成. 而厂商要嘛应用物联网赚钱, 要嘛开发物联网的这四层的软硬件来赚钱. 像Navidia 最近就是因为下图中感知层的影像辨识而变得非常火红.

而这么多的Things连上网, 产生了各式各样的大量数据, 就把原来的Data Minining (资料探勘或采矿)变成了Big Data (大数据).

从 Data Mining 到 Big Data

在Big Data这个名词火红之前, 其实它的前身 Data Mining 已经默默进行好久了, 如果我没记错的话, 2000年网络大泡沫那时, 流行所谓 Data Warehouse 数据仓储时就有所谓的Data Mining了. 我还记得当时听过一个数据仓储课程提到社保局就透过Data Mining去抓出滥用社保资源的医院. 那Data Mining是什么呢?

资料挖矿(data mining)是从大量自动化搜集的资料中, 找到新奇, 过去未知, 以及可被解释的样型(pattern), 用以预测未来尚未发生的事件, 为不断循环的数据分析与决策支持的过程

而Data Mining 整合了计算机科学, 统计, 数学, 机器学习, 人工智能等这几个主要的知识领域. 而Data Mining使用的算法像回归, 逻辑式回归, 贝式定理, 支持向量机器(SVM), K-Means, K-NN等等就是来自统计或数学, 而类神经网络或基因算法就是来自机器学习或人工智能. 使用的统计或数学软件, 或将采矿而得的Model建在信息系统之中当然就是信息科学的领域了.

在互联网和物联网的快速发展加持之下, Data Mining 被包装成了Big Data 而拥有了所谓的四大特性或四个V: Volume(大量), Velocity(速度), Variety(多样性), Veracity(真实性)

Doug Laney, Gartner分析师, 2001年最早提出3V: Volume, Velocity, Variety--数据处理的三大挑战. 后来Inderpal Bhandar (Express Scripts 的Chief Data Officer, CDO)在波士顿 (Big Data Innovation Summit)的演讲中提出应加上”Veracity”分析并过滤数据有偏差、伪造、异常的部分. 就变成了今天Big Data 的四大特性.

但可见Big Data 的核心还是Data Mining. Big Data 形式, 而Data Mining 则是其内涵.

Data Mining 的步骤

跨产业数据采矿标准作业程序 (CRISP, CRoss Industry Standard Process for Data Mining) 一套Data Mining的标准作业步骤, 是于1990年起，由SPSS及NCR两大厂商在合作戴姆克赖斯勒-奔驰(Daimler Benz)的数据仓储以及数据采矿过程中发展出来的. 整个Data Mining从了解商业的问题及目的, 数据的了解, 数据的准备, 找出模型, 评估模型到布建应用模型的步骤.