首先要明白大家為何從前幾年開始談大數(shù)據(jù)了?這是一個基本問題，包含著對當下數(shù)據(jù)現(xiàn)實的基本認識。一個不可忽視的事實是，隨著網(wǎng)絡和信息技術的不斷普及，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長。大約每兩年翻一番，這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。

　　對于如此巨量數(shù)據(jù)(而且單純的增量數(shù)據(jù)都是一個巨量)，與之相關的存儲、分析、流轉、使用到交易等等環(huán)節(jié)產(chǎn)生了一系列關聯(lián)的問題，而在當下的時間節(jié)點，我們不得不明確面對，而不僅僅是先找個地方把數(shù)據(jù)存起來。

　　大數(shù)據(jù)是指無法在一定時間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集。大數(shù)據(jù)不僅僅是大，還有它的復雜性和沙里淘金的重要性。

　　傳統(tǒng)軟件處理的數(shù)量主要是結構化數(shù)據(jù)，而且數(shù)量上相對小。當規(guī)模大到需要新的技術方案的時候，那正是我們重新認識它的時候。

　　大數(shù)據(jù)有兩大特點，一是數(shù)據(jù)來源多源，包括各種結構化數(shù)據(jù)和非結構化數(shù)據(jù)，如網(wǎng)絡日志、視頻、圖片、地理位置信息等等，同時數(shù)量相對巨大，大數(shù)據(jù)中的‘大’本身就是一個相對的概念;二是數(shù)據(jù)處于“on line”即在線的狀態(tài)，能夠隨時被吸取和關聯(lián)，并進行分析。

　　一般來講，更多智能硬件和這能設備的加入，更多數(shù)據(jù)實時產(chǎn)生，于是就需要大數(shù)據(jù)技術來實現(xiàn)對數(shù)據(jù)信息的價值挖掘。大數(shù)據(jù)技術包括了數(shù)據(jù)采集，數(shù)據(jù)存取，基礎架構，數(shù)據(jù)處理，統(tǒng)計分析，數(shù)據(jù)挖掘，模型預測，結果呈現(xiàn)等八個方面。

　　而以上幾個方面都離不開云平臺和云計算能力，比如說數(shù)據(jù)采集之后的數(shù)據(jù)存儲，現(xiàn)在很多非核心敏感數(shù)據(jù)都可以存儲在云端;數(shù)據(jù)挖掘也是需要通過云計算和機器學習才能實現(xiàn)。那什么才是云計算呢?

　　所謂云計算，非常教科書的說法是“能通過網(wǎng)絡訪問可擴展的、靈活的、可共享的物理或虛擬資源池，并按需自助獲取和管理這些資源的模式。其中資源實例包括服務器、操作系統(tǒng)、網(wǎng)絡、軟件、應用和存儲設備等。 ”

　　從以上概念可以看出其包括軟件、硬件等資源，簡單說云計算有三層云平臺，第一個是Iaas(Infrastructure as a Service)，基礎設施即服務，以前這些資源都是企業(yè)固有資源，現(xiàn)在可以不再擁有，通過平臺服務商提供，減輕部署成本;

　　第二個是Paas(Platform as a service)，平臺即服務，開放式的API可以由合作方提供行業(yè)和內(nèi)容的服務;

　　第三個是SaaS(Software as a service)，軟件即服務。比如我們經(jīng)常使用的手機APP等;

　　云計算有一個很重要的特點和優(yōu)勢就是資源池化，就是把Iaas，Paas，Saas層的資源(CPU、存儲、網(wǎng)絡等)放入到資源池中(云服務器)，由云服務器進行集中管理。云計算里所有的服務都是通過資源池里的資源而提供的。

　　人工智能、深度學習，這些都是二十年前就有的技術，但是二十年前沒有大數(shù)據(jù)，沒有可以關聯(lián)的數(shù)據(jù)。所以大數(shù)據(jù)的故事從有了關聯(lián)才真正開始。

　　那如何應用大數(shù)據(jù)?首先要了解數(shù)據(jù)的生命周期?！安键c”、“收集”、“存儲”，這些是前端，之后需要對數(shù)據(jù)做“識別”、“關聯(lián)”、“分析”。還有一個能把整個過程包起來的，就是“實時刷新”。這就是數(shù)據(jù)的生命周期，它是一個閉環(huán)。不管你怎么使用大數(shù)據(jù)，你首先要了解這個周期。

　　云計算是工業(yè)時代的電，大數(shù)據(jù)就是福特生產(chǎn)線，云存儲就是鋼鐵工業(yè)。也就是說，沒有鋼鐵，就沒有電，就不會有大規(guī)模工業(yè)化生產(chǎn)。沒有云計算，大數(shù)據(jù)不會出來，如果云計算沒有解決云存儲的問題，也不會出來。

　　如果簡單來講，我們可以通過一個圖來進行標識：

　　大數(shù)據(jù)是新一代信息技術的基礎性技術，被普遍認為是繼互聯(lián)網(wǎng)之后，能對全球社會、經(jīng)濟、工業(yè)產(chǎn)生重大影響的技術。

　　面對一股面向大數(shù)據(jù)的市場狂熱，主要有兩種基本觀點：

　　第一，我不認為大數(shù)據(jù)對近一兩年GDP的貢獻有那么大，但肯定的說對于三年、五年之后的GDP貢獻巨大。換句話說，只有沉得下心，愿意扎扎實實打好基礎的政府和企業(yè)，才能從大數(shù)據(jù)技術上獲益。

　　第二，大數(shù)據(jù)技術并不是已經(jīng)成熟的技術，是一個正在從應用中逐漸走向成熟的技術，目前的挑戰(zhàn)多于成熟。

　　所以，要從整體視角來觀察大數(shù)據(jù)和云計算，而不能因為其中一個而偏廢其他，總體來講，大數(shù)據(jù)技術與云計算都是很有效的工具手段，有待人們?nèi)ゲ粩嗤诰颉?/p>

　　歷史規(guī)律告訴我們，任何一次大型技術革命，早期人們總是高估它的影響，會有一輪一輪的泡沫;中期又會低估它的影響，覺得不過是些概念而已;當你覺得它是概念的時候，它已經(jīng)開始生根發(fā)芽，開始茁壯成長。