大數據就是互聯網發展到現今階段的一種表象或特徵而已，沒有必要神話它或對它保持敬畏之心，在以雲計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。淘寶的海量數據產品技術架構分為五個層次，從上至下來看它們分別是：數據源，計算層，存儲層，查詢層和產品層。
數據來源層:存放著淘寶各店的交易數據。在數據源層產生的數據，通過DataX，DbSync和Timetunel準實時的傳輸到下面第2點所述的“雲梯”。
計算層:在這個計算層內，淘寶採用的是Hadoop集群，這個集群，我們暫且稱之為雲梯，是計算層的主要組成部分。在雲梯上，系統每天會對數據產品進行不同的MapReduce計算。
存儲層:在這一層，淘寶採用了兩個東西，一個使MyFox，一個是Prom。MyFox是基於MySQL的分佈式關係型數據庫的集群，Prom是基於Hadoop Hbase技術的一個NoSQL的存儲集群。
查詢層:在這一層中，Glider是以HTTP協議對外提供restful方式的接口。數據產品通過一個唯一的URL來獲取到它想要的數據。同時，數據查詢即是通過MyFox來查詢的。
最後一層是產品層，這個就不用解釋了。
渥瑞達在大數據研究和實踐的方面有著豐富的經驗，擁有專門的大數據教學視頻和實例，可以幫助你快速入門大數據。
相關推薦
'《幽靈行動：斷點》b測大數據出爐 玩家累計滅敵123億'
"育碧旗下新作《幽靈行動：斷點（Tom Clancys Ghost Recon: Breakpoint）》在9月5日至9月9日期間進行了Beta測試，今天育碧官方公開了這次Beta測試的大數據統計圖，為玩家統計了遊戲中各種道具、槍械、殺敵數等。一起來看看吧。在這次測試期間共...
'明日方舟：下期哪個六星會UP？黃票商店會進誰？大數據分析'
"又到了每個月最喜歡的猜池子的時間了！現在就讓我們用大數據，以及最嚴密的邏輯推理一下下期池子。然後再被鷹角毫無邏輯的幹員UP打臉...六星幹員的UP預測為了用大數據說話，先讓我們統計一下近期UP的幹員。六星幹員：銀灰、夜鶯的上一次UP要追溯到7月11日，已經足足九個池子沒見...
'如何找對人、選好貨、鋪對場？尼爾森快消零售大數據揭開真相'
"中國商報/中國商網（記者 張濤）9月17日，尼爾森發佈了《揭祕高能市場：尼爾森中國城市快消零售大數據報告(2019)》。該報告彙集消費者、門店、地理特徵、產品及銷量等超過3萬個數據標籤，實現米級人貨場數據的立體融通。尼爾森表示，報告旨在幫助品牌商和零售商以最快速度瞭解市場...
'海盜遊戲《ATLAS》結合大數據制定新計劃，玩家50%時間在海上活動'
"作為全Steam最大的一款航海遊戲，海盜冒險生存遊戲《ATLAS》給我們帶來的第一直觀體驗就是規模宏偉，它有著4.5萬平方公里的地圖以及900多個小島嶼，而玩家則會在這款遊戲裡面和4萬個玩家一起作戰，感受由《ATLAS》帶來的真實海戰。然而最近《ATLAS》卻在分析玩家行...
'手遊大數據：川渝玩家偏愛棋牌？王者榮耀等MOBA遊戲用戶粘性最高'
"今天（9.17）國內移動互聯網大數據公司QuestMobile，發佈了2019手機遊戲行業半年報告。該報告從行業基本發展狀況、手遊玩家差異化特點、手遊流量以及遊戲推廣方式等多個方面用數據敘述了上半年國內手機遊戲行業內的一些情況。手遊行業收入增速擴大，活躍用戶規模呈現持續向...
'14日大數據：美國隊恥辱記錄彙總，老司機當選主席！MVP候選出爐'
"米切爾16分美國勝波蘭鎖第7；博格丹31分塞爾維亞排第51、14日之星：博格丹諾維奇31分4板3助7記三分當選男籃世界盃已經結束了9月14日的兩場排位賽，我們結合各球員的表現評選出了“今日之星”，塞爾維亞後衛博格丹-博格丹諾維奇當選。在塞爾維亞以90-81擊敗捷克的比賽中...
'關注 | 2019世界計算機大會，看看大咖們都在聊什麼？'
"“計算萬物 湘約未來”9月10日2019世界計算機大會在長沙梅溪湖國際文化藝術中心隆重開幕在開幕式與主論壇上，中國科學院院士、中國人民解放軍軍事科學院院長楊學軍，諾貝爾經濟學獎獲得者芬恩·基德蘭德等17位來自計算、網絡技術等相關領域的著名專家、學者作主題演講。共同探討計算...
推薦中...