有學習雲計算大數據方向的同學嗎,我想了解前輩們的發展?

職業教育
4 個回答
眼高手低49920716
2017-03-19

先弄明白Hadoop,storm,spark,Kafka,Sqoop,Fulme,Hbase,Hive這幾個基本項目的概念,然後學會搭建Hadoop集群,然後學會在Hadoop上構建Hbase和hive,然後學習mapreduce編程,好明白什麼是列存儲,學會Hbase怎麼使用,學會hive。完成這些以後,基本上就算入門了。然後根據場景學習Sqoop,Flume和Kafka。然後可以學storm,最後學spark。至於機器學習的算法,自然語言處理以及更深入的深度神經網絡,建議你最後接觸。以上是大數據的東西。雲計算沒有這麼複雜,除非你要開發自己的虛擬化環境。雲,我建議你學openstark,並不是很複雜。雲和大數據本質上來說是亞馬遜和谷歌的兩種彈性計算構建各自發展出來的技術。大數據集群經常需要部署在雲上。別把兩個概念弄混了。

Alan53154481
2017-03-19

大數據入行快一年了,從oracle erp轉過來的,前5個月做的hive裡的etl數據倉庫等等,各種大數據組件也沒怎麼接觸,最近幾個月才開始接觸,像hadoop,hive,hbase,kafka,es,codis,mr等,都瞭解了下,但還不是很深入的理解,只是用mr程序各種處理數據,從一個組件弄到另一個裡。。但是比較想學習下統計建模和算法,但是現在沒啥機會,只能自己學習瞭解下機器學習的東西。說實話不太清楚大數據以後得發展,但是感覺後面數據多了肯定會用到的,貌似現在大數據的牛人工資都不低,不知道後面混成牛人後,是不是爛大街了。。。

敬亭山仁波切
2017-03-19

前幾個說大數據的比較多,我來說雲計算,畢竟屬於雲計算從業者。

你能學到的都是開源的東西,他們提到的大數據框架都是開源的,雲計算不同,雲計算分為公有云和私有云,公有云一般都是自研的系統,國外做的最好的亞馬遜AWS、微軟AZure,國內最好的阿里雲、騰訊雲都是這種情況,私有云則基本都用開源的openstack,國內做的好點的廠商有華為、easystack。

openstack可以拆解為許多組件,比較重要的有計算nova,網絡neutron,鏡像存儲glance,塊存儲cinder,對象存儲swift,認證keystone,界面horizon這些。

除了openstack以外,雲計算領域非常熱門的技術當屬容器服務docker,有興趣可以自行了解。

糊涂1139226
2017-03-14

主要有兩個部分。分佈式存儲。 分佈式計算

分佈式存儲主要是 hadoop hdfs 文件系統 或者 mongodb 或者 cassanra數據庫

分佈式計算主要是。spark 或者 tensonflow

另外也包含流式計算比如 storm ,和消息系統 kafka

建議從python學起比較容易入門 深入一點可以學scala

相關推薦

推薦中...