'大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰'

"

特點與挑戰

雖然推薦系統己經被成功運用於很多大型系統及網站,但是在當前大數據的時代背景下,推薦系統的應用場景越來越多樣,推薦系統不僅面臨數據稀疏、冷啟動、興趣偏見等傳統難題,還面臨由大數據引發的更多、更復雜的實際問題。大數據本身具有的複雜性、不確定性和湧現性也給推薦系統帶來諸多新的挑戰,傳統推薦系統的時間效率、空間效率和推薦準確度都遇到嚴重的瓶頸。

"

特點與挑戰

雖然推薦系統己經被成功運用於很多大型系統及網站,但是在當前大數據的時代背景下,推薦系統的應用場景越來越多樣,推薦系統不僅面臨數據稀疏、冷啟動、興趣偏見等傳統難題,還面臨由大數據引發的更多、更復雜的實際問題。大數據本身具有的複雜性、不確定性和湧現性也給推薦系統帶來諸多新的挑戰,傳統推薦系統的時間效率、空間效率和推薦準確度都遇到嚴重的瓶頸。

大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰

關鍵技術

採用分佈式文件系統管理數據

大數據推薦系統採用基於集群技術的分佈式文件系統管理數據。建立一種高併發、可擴展、能處理海量數據的大數據推薦系統架構是非常關鍵的,它能為大數據集的處理提供強有力的支持。

"

特點與挑戰

雖然推薦系統己經被成功運用於很多大型系統及網站,但是在當前大數據的時代背景下,推薦系統的應用場景越來越多樣,推薦系統不僅面臨數據稀疏、冷啟動、興趣偏見等傳統難題,還面臨由大數據引發的更多、更復雜的實際問題。大數據本身具有的複雜性、不確定性和湧現性也給推薦系統帶來諸多新的挑戰,傳統推薦系統的時間效率、空間效率和推薦準確度都遇到嚴重的瓶頸。

大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰

關鍵技術

採用分佈式文件系統管理數據

大數據推薦系統採用基於集群技術的分佈式文件系統管理數據。建立一種高併發、可擴展、能處理海量數據的大數據推薦系統架構是非常關鍵的,它能為大數據集的處理提供強有力的支持。

大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰

採用基於集群技術的分佈式計算框架

集群上實現分佈式計算的框架很多,Hadoop中的MapReduce 作為推薦算法並行化的依託平臺,既是一種分佈式的計算框架,也是一種新型的分佈式並行計算編程模型,應用於大規模數據的並行處理,是一種常見的開源計算框架。 2011年,針對推薦系統無法在每秒內給大量用戶進行推薦的問題, 提出了一種 新的數據分區策略,減少了節點間的通信開銷,提高了推薦系統的推薦效率。

推薦算法並行化

很多大型企業所需的推薦算法要處理的數據量非常龐大,從TB級別到PB級甚至更高。面對龐大的數據,若採用傳統串行推薦算法,時間開銷太大。當數據量較小時,時間複雜度高的串行算法能有效運作,但數據量極速增加後,這些串行推薦算法的計算性能過低,無法應用於實際的推薦系統中。因此,面向大數據集的推薦系統從設計上就應考慮到算法的分佈式並行化技術,使得推薦算法能夠在海量的、分佈式、異構數據環境下得以高效實現。

"

特點與挑戰

雖然推薦系統己經被成功運用於很多大型系統及網站,但是在當前大數據的時代背景下,推薦系統的應用場景越來越多樣,推薦系統不僅面臨數據稀疏、冷啟動、興趣偏見等傳統難題,還面臨由大數據引發的更多、更復雜的實際問題。大數據本身具有的複雜性、不確定性和湧現性也給推薦系統帶來諸多新的挑戰,傳統推薦系統的時間效率、空間效率和推薦準確度都遇到嚴重的瓶頸。

大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰

關鍵技術

採用分佈式文件系統管理數據

大數據推薦系統採用基於集群技術的分佈式文件系統管理數據。建立一種高併發、可擴展、能處理海量數據的大數據推薦系統架構是非常關鍵的,它能為大數據集的處理提供強有力的支持。

大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰

採用基於集群技術的分佈式計算框架

集群上實現分佈式計算的框架很多,Hadoop中的MapReduce 作為推薦算法並行化的依託平臺,既是一種分佈式的計算框架,也是一種新型的分佈式並行計算編程模型,應用於大規模數據的並行處理,是一種常見的開源計算框架。 2011年,針對推薦系統無法在每秒內給大量用戶進行推薦的問題, 提出了一種 新的數據分區策略,減少了節點間的通信開銷,提高了推薦系統的推薦效率。

推薦算法並行化

很多大型企業所需的推薦算法要處理的數據量非常龐大,從TB級別到PB級甚至更高。面對龐大的數據,若採用傳統串行推薦算法,時間開銷太大。當數據量較小時,時間複雜度高的串行算法能有效運作,但數據量極速增加後,這些串行推薦算法的計算性能過低,無法應用於實際的推薦系統中。因此,面向大數據集的推薦系統從設計上就應考慮到算法的分佈式並行化技術,使得推薦算法能夠在海量的、分佈式、異構數據環境下得以高效實現。

大數據環境下的推薦系統,有哪些特點與技術,面臨什麼挑戰

推薦系統深深地影響了我們的生活,希望它能夠發展的越來越好。

"

相關推薦

推薦中...