"兮兮spark"
Spark(python)
一、 安裝下載jdk、scala、spark並配置環境變量/etc/profile創建軟鏈接打開python的spark連接窗口 or ./bin/spa...
當MongoDB遇見Spark
適宜讀者人群正在使用Mongodb的開發者傳統Spark生態系統 和 MongoDB在Spark生態的角色傳統Spark生態系統Spark生態系統那麼Mo...
Spark 的學習使用
最近一直在做數據統計相關的工作,主要是用 Spark 分析一些關鍵詞在微信中的傳播行為。這篇博客記錄一下學習的過程。資源參數調優使用公司的 Spark 平...
Spark Streaming 原理
Spark Streaming工作原理每個Spark Streaming程序提交後,會在Driver把程序計算邏輯描述為一個 RDD DAG 的“模板”,...
Spark
2017-05-07
spark RDD 函數之map
1.map(func):數據集中的每個元素經過用戶自定義的函數轉換形成一個新的RDD,新的RDD叫MappedRDD(例1)(RDD依賴圖:紅色塊表示一個...
Spark名詞解釋及關係
隨著對spark的業務更深入,對spark的瞭解也越多,然而目前還處於知道的越多,不知道的更多階段,當然這也是成長最快的階段。這篇文章用作總結最近收集及理...
物理
2017-04-14
Spark:超越Hadoop MapReduce
引言:和 Hadoop 一樣,Spark 提供了一個 Map/Reduce API(分佈式計算)和分佈式存儲。二者主要的不同點是,Spark 在集群的內存...
“曉”Spark相遇古城西安
你能想象到的最小航拍無人機有多小?2017年6月16日由全球民用無人機及航拍技術領導者大疆創新主辦,授權一級代理西安交遠承辦的大疆“曉”Spark掌上無人...
推薦中...