從物聯網到大數據

物聯網 大數據 人工智能 機器學習 物聯之家網 2017-05-25

從物聯網到大數據

來源:物聯之家網(www.iothome.com)

物聯網的概念

物聯網在這幾年跟大數據一樣是火紅的話題, 但物聯網的概念在20年前就已經被提出來了, 以下是這個概念的演變:

▲1995年,物聯網的概念最早出現在比爾蓋茨1995年《未來之路》一書,在書中,比爾蓋茨已經提及Internet of Things的概念,只是當時受限於無線網絡、硬件及感測設備的發展,並未引起世人的重視。

▲1998年,美國麻省理工大學首先提出了當時被稱作EPC系統的〝物聯網〞的構想

▲1999年,美國Auto-ID首先提出〝物聯網〞的概念,稱物聯網主要是建立在物品編碼、RFID技術和互聯網的基礎上

▲2005年,ITU發佈了《ITU互聯網報告2005:物聯網》,綜合二者內容,正式提出〝物聯網〞的概念,包包括了所有物品的聯網和應用。

物聯網的定義

目前較為公認的物聯網的定義是:通過射頻識別、紅外傳感器、全球定位系統、雷射掃描儀等信息感測設備,按約定的協議,把任何物品與互聯網連接起來,進行信息交換和通訊,以進行智能化識別、定位、跟蹤、監控和管理的一種網絡。

我們可以用幾個情境來說明:

情境一:以前要監控河流的狀況, 可能要有人到不同的河流分段分時間採樣, 測量, 紀錄, 輸入到計算機, 分析結果, 採取行動等等. 有了物聯網之後, 就在不同的河流分段加裝傳感器(Sensor), 透過互聯網將數據傳回監控中心加以實時的監控及分析, 這樣就省掉了要人去採樣, 測量, 記錄及輸入的工作.

情境二:工廠的製程品管員需要在製造的過程中定時抽樣, 用儀器量測, 並進行SPC製程監控. 有了物聯網後, 可以用AOI (自動光學檢測) 量測並將數據透過網絡傳到MES(Manufacuring Execution System)直接進行實時的SPC分析. 這樣就省掉了品管員去取樣, 測量, 記錄及輸入的工作.

我們也可以透過手機去監控家裡的家電, 或透過穿戴設備監控健康狀況等等, 這些都是物聯網的應用. 只要把物加上傳感器或控制器就可透過互聯網來監或控那個物, 這就是物聯網最基本的觀念.

物聯網到大數據的發展

我們可以把物聯網到大數據的發展分成: Things, Connection 跟Data三個軸來看, 一開始是個人計算機的發明, 接著就往聯網的方向發展(Connection), 從局域網絡, 互聯網到無線網絡. 另外, Things的鏈接也從局域網絡的機臺, 無線網絡的手機, 平板, 到今天把穿戴設備, 監控錄像, 醫療設備, 智能家電, 交通, 環境監控等等一堆Things都連上互聯網, 形成了所謂的物聯網. 隨著互聯網跟物聯網的發展, Data也從原來的結構性數據, 文件, 圖片, 聲音, 行為追蹤, 到視頻等等.

從物聯網到大數據

物聯網的架構

由以上的發展可將物聯網表示成以下的架構, 由物理層, 感知層, 網絡層, 應用層四層構建而成. 而廠商要嘛應用物聯網賺錢, 要嘛開發物聯網的這四層的軟硬件來賺錢. 像Navidia 最近就是因為下圖中感知層的影像辨識而變得非常火紅.

從物聯網到大數據

而這麼多的Things連上網, 產生了各式各樣的大量數據, 就把原來的Data Minining (資料探勘或採礦)變成了Big Data (大數據).

從 Data Mining 到 Big Data

在Big Data這個名詞火紅之前, 其實它的前身 Data Mining 已經默默進行好久了, 如果我沒記錯的話, 2000年網絡大泡沫那時, 流行所謂 Data Warehouse 數據倉儲時就有所謂的Data Mining了. 我還記得當時聽過一個數據倉儲課程提到社保局就透過Data Mining去抓出濫用社保資源的醫院. 那Data Mining是什麼呢?

資料挖礦(data mining)是從大量自動化蒐集的資料中, 找到新奇, 過去未知, 以及可被解釋的樣型(pattern), 用以預測未來尚未發生的事件, 為不斷循環的數據分析與決策支持的過程

而Data Mining 整合了計算機科學, 統計, 數學, 機器學習, 人工智能等這幾個主要的知識領域. 而Data Mining使用的算法像迴歸, 邏輯式迴歸, 貝式定理, 支持向量機器(SVM), K-Means, K-NN等等就是來自統計或數學, 而類神經網絡或基因算法就是來自機器學習或人工智能. 使用的統計或數學軟件, 或將採礦而得的Model建在信息系統之中當然就是信息科學的領域了.

從物聯網到大數據

在互聯網和物聯網的快速發展加持之下, Data Mining 被包裝成了Big Data 而擁有了所謂的四大特性或四個V: Volume(大量), Velocity(速度), Variety(多樣性), Veracity(真實性)

從物聯網到大數據

Doug Laney, Gartner分析師, 2001年最早提出3V: Volume, Velocity, Variety--數據處理的三大挑戰. 後來Inderpal Bhandar (Express Scripts 的Chief Data Officer, CDO)在波士頓 (Big Data Innovation Summit)的演講中提出應加上”Veracity”分析並過濾數據有偏差、偽造、異常的部分. 就變成了今天Big Data 的四大特性.

但可見Big Data 的核心還是Data Mining. Big Data 形式, 而Data Mining 則是其內涵.

Data Mining 的步驟

跨產業數據採礦標準作業程序 (CRISP, CRoss Industry Standard Process for Data Mining) 一套Data Mining的標準作業步驟, 是於1990年起,由SPSS及NCR兩大廠商在合作戴姆克賴斯勒-奔馳(Daimler Benz)的數據倉儲以及數據採礦過程中發展出來的. 整個Data Mining從瞭解商業的問題及目的, 數據的瞭解, 數據的準備, 找出模型, 評估模型到布建應用模型的步驟.

從物聯網到大數據

本文的目的只是簡單介紹一下物聯網跟大數據的關係, 如果對大數據有興趣, 推薦清大簡禎富教授《數據挖礦與大數據分析》這本書, 但要有點統計跟數學的基礎.


關於我們:網站內容更精彩!

物聯之家(www.iothome.com)一個有態度的物聯網科技新媒體。我們關注物聯網領域的價值發現和趨勢,關注該領域的大小公司和大小人物,這裡有跟物聯網相關的深度觀點、測評和剖析。物聯網改變世界,我們將參與和忠實的記錄改變的過程,見證物聯網帶給人類的豐碩成果。

相關推薦

推薦中...