Spark(python)
一、 安裝下載jdk、scala、spark並配置環境變量/etc/profile創建軟鏈接打開python的spark連接窗口 or ./bin/spa...
"Spark"
當MongoDB遇見Spark
適宜讀者人群正在使用Mongodb的開發者傳統Spark生態系統 和 MongoDB在Spark生態的角色傳統Spark生態系統Spark生態系統那麼Mo...
Spark 的學習使用
最近一直在做數據統計相關的工作，主要是用 Spark 分析一些關鍵詞在微信中的傳播行為。這篇博客記錄一下學習的過程。資源參數調優使用公司的 Spark 平...
Spark Streaming 原理
Spark Streaming工作原理每個Spark Streaming程序提交後，會在Driver把程序計算邏輯描述為一個 RDD DAG 的“模板”，...
Spark
2017-05-07
spark RDD 函數之map
1.map(func)：數據集中的每個元素經過用戶自定義的函數轉換形成一個新的RDD，新的RDD叫MappedRDD（例1）(RDD依賴圖：紅色塊表示一個...
Spark名詞解釋及關係
隨著對spark的業務更深入，對spark的瞭解也越多，然而目前還處於知道的越多，不知道的更多階段，當然這也是成長最快的階段。這篇文章用作總結最近收集及理...
物理
2017-04-14
Spark：超越Hadoop MapReduce
引言：和 Hadoop 一樣，Spark 提供了一個 Map/Reduce API（分佈式計算）和分佈式存儲。二者主要的不同點是，Spark 在集群的內存...
“曉”Spark相遇古城西安
你能想象到的最小航拍無人機有多小？2017年6月16日由全球民用無人機及航拍技術領導者大疆創新主辦，授權一級代理西安交遠承辦的大疆“曉”Spark掌上無人...
Storm，Spark和Hadoop MapReduce關係
Storm，Spark和Hadoop MapReduce之間有什麼關係呢？接下來是咱們的Spark的詳細筆記：高階函數：如果一個函數的參數類型為一個函數，...
大數據之Spark詞頻統計
準備工作#進入spark目錄cd /usr/local/spark#新建代碼實驗目錄mkdir demo_codecd demo_code#新建一個詞頻統...
大疆超小型穿越機Spark現身
【大疆超小型穿越機Spark現身】大疆（DJI）一款超小型穿越機現身，尺寸只有一部iPad Mini大小，這款無人機並不是MAVIC系列中的一員，兩軸雲臺...
推薦中...