什麼是大數據,怎麼理解和應對大數據時代?

大數據 機器學習 人工智能 智能手機 智能時代遇見最好的你 2017-06-19

在大數據與深度學習中蝶化的人工智能。當代人工智能離不開大數據和深度學習算法。我們先來了解什麼是大數據,大數據的本質是什麼,在大數據時代我們應該如何應對?

當我們談論數據的時候我們在談什麼?在大部分人的日常印象中,數據代表的可能是每月水電煤賬單上的數字,股票k線圖上的紅綠指數,還有可能是電腦文件裡那一堆看不懂的源代碼。什麼是大數據,怎麼理解和應對大數據時代?

人工智能眼中的數據遠比這些廣泛。數據的存在形式隨著人類文明的發展不斷改變,從最初的聲音,文字,圖畫,數字,到電子時代的每一張圖片,每一段語音,每一個視頻,再到如今互聯網時代人類每一次的鼠標點擊,用手機時每一次的手指滑動,乃至每一下心跳和呼吸,甚至經濟生產中的一切人機動作,軌跡,都已融入數據流。今天的人類已經能夠將各種或大或小的事物轉化為數據記錄,變成我們生活的一部分。數據已經浸染我們生活的每一個細節,就如生物學家所說人體組織的一半是由微生物組成,在數字時代,我們生活的一半已然是數據。在日常生活中,數據的概念對於我們即親近又陌生。親近它是因為我們從小就會接觸加減乘除這些最基本的數據和算法。步入社會後也在與各種文件報表賬單打交道。與此同時,當面對高科技產品中各種關於內存,分辨率等時髦又複雜的數據是,我們又覺得不瞭解它們甚至沒意識到它們的存在。隨著大數據,機器算法和人工智能的理念相繼到來,這種陌生感會越發加深。

那麼數據生活距離我們遙遠嗎?正相反,數據與我們日常生活的聯繫從未如此緊密過,從沒有像今天如此活躍,具體的記錄著人類與世界。從最初的計算機,攝像頭到家用計算機,智能手機,再到大數據和人工智能,我們不斷升級採集和利用數據的方式。而現在,從一輛車的每日碳排放量統計到全球氣溫的檢測,從預測個人在網上喜好分析到總統選舉時投票趨勢的預測,我們都可以做到。數據將人與人,人與世界連接起來,構成一張繁密的網絡,每個人都在影響世界,又在被他人影響著。傳統的統計方法已經無法處理這種相互影響的數據,這麼辦?答案是讓機器自己來處理數據,從數據中習得知識。這便是當代人工智能的本質。與傳統的數據記錄定義不同,這種數據是有“生命”的。它更像是我們身體的一種自然延伸:聆聽我們的聲音,拓寬我們的視野,加深我們的記憶,甚至組成一個以數據形式存在的“我”。

自工業革命以來,數據經歷過一次又一次的爆發,何以近年來才出現大數據的概念?什麼是大數據?什麼是大數據,怎麼理解和應對大數據時代?

大數據(big data),指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。從概念中可以得知大數據技術的關鍵 不在於掌握龐大的數據信息,而在於對這些含有意義的數據進行專業化處理,在於提高對數據的“加工能力”,通過“加工”實現數據的“增值”。從技術上看,大數據必然無法用單臺的計算機進行處理,必須採用分佈式架構。它的特色在於對海量數據進行分佈式數據挖掘。但它必須依託雲計算的分佈式處理、分佈式數據庫和雲存儲、虛擬化技術。什麼是大數據,怎麼理解和應對大數據時代?

大數據包括結構化、半結構化和非結構化數據,非結構化數據越來越成為數據的主要部分。大數據必須具有幾大特徵:一,大數據的“大”。與傳統數據的儲存方式相比是幾何量級的差距。

二,多維度。表示大數據可以對一個事物進行多方位的描述,從而更準確。

三,處理非結構數據的能力。未來10年新生數據總量的90%為非結構化數據。大數據通過圖像識別,語音識別,自然語言分析等技術計算,分析大量非結構化數據,大大提升數據維度。

四,大數據是生生不息的“流”,具有時間性。一是因為數據量巨大,無法全部儲存。另一方面是大數據和人類生生不息的行動相關,瞬息萬變。

五,最重要的是,大數據的大表現為無盡的重複。量變促成質變,在機器智能領域,數據量的大小和處理速度的快慢可以直接決定智力水平的高低。什麼是大數據,怎麼理解和應對大數據時代?

相關推薦

推薦中...