課程名稱：5G時代的大數據直播中臺項目
應用場景：商業直播
應用領域：大數據準實時，實時應用程序的開發和講解
項目描述：此項目主要實踐於某商業ToB直播大型項目，整個項目負責作為整體項目的數據中臺，不負責數據的上報和數據的使用。項目中直接使用企業中的真實日誌數據作為數據的依託，為每一位學員打造真實的項目環境。項目是用java語言開發spark流程序，核心框架structed-spreaming，項目實時處理各個業務端上報的數據，並及時將結果數據推送給業務端使用。
主要模塊：採集程序，數據解析程序，數據清洗程序，數據統計程序，mysql分析函數，數據推送程序。
應用技術棧
- Java Spark
- Flume
- Kafka
- Structured Streaming
- Flink SQL重構統計
- Mysql函數
- Redis
- quartz
課程內容：
一、項目概述（一堂課）
1、項目概述，業務規則梳理，數據清洗規則，技術架構講解
2、項目中用到的組件講解
Flume / spark-structed-spreaming
/ kafka / redis / mysql函數 / quartz
二、項目講解和代碼開發（每個小結一堂課）
- nginx講解 + flume採集nginx日誌到kafka主題
- 實時程序解析nginx日誌，寫入不同kafka主題的開發
- 異步報警程序和監控程序開發（報警採用第三方付費短信接口）
- 實時清洗程序清洗kafka數據--清洗程序1開發
- 實時清洗程序清洗kafka數據--清洗程序2開發
- 實時統計程序處理清洗結果數據開發
- flink講解 + 用flink重構數據統計程序
- kafka數據實時入庫程序開發
- mysql函數的編寫和調用執行
- 數據推送程序開發
- 基於Redis的信息預警、offset的信息存儲
- 代碼功能測試和斷點能力加強，上線部署流程
三、總結與展望（一堂課）
1、實時程序的 壓測/部署/監控/報警服務/注意事項講解
2、coding能力的快速提高/技術問答和展望
對此項目感興趣的同學後臺諮詢【項目】即可
相關推薦
'《幽靈行動：斷點》b測大數據出爐 玩家累計滅敵123億'
"育碧旗下新作《幽靈行動：斷點（Tom Clancys Ghost Recon: Breakpoint）》在9月5日至9月9日期間進行了Beta測試，今天育碧官方公開了這次Beta測試的大數據統計圖，為玩家統計了遊戲中各種道具、槍械、殺敵數等。一起來看看吧。在這次測試期間共...
'Perkz心中的S9三大上單：Theshy第一金貢上榜'
"臨近S9世界賽，就算是被吹上天的G2也開始訓練了。畢竟S賽才是檢驗一支隊伍真正實力的地方，也是能成就一支偉大隊伍的地方，G2離那道門還差一步。而最近Perkz在直播的時候談起了S9世界賽，並談到了S9世界賽上自己認為最強的三大上單。排第一的是Theshy，這不僅是Perk...
'明日方舟：下期哪個六星會UP？黃票商店會進誰？大數據分析'
"又到了每個月最喜歡的猜池子的時間了！現在就讓我們用大數據，以及最嚴密的邏輯推理一下下期池子。然後再被鷹角毫無邏輯的幹員UP打臉...六星幹員的UP預測為了用大數據說話，先讓我們統計一下近期UP的幹員。六星幹員：銀灰、夜鶯的上一次UP要追溯到7月11日，已經足足九個池子沒見...
'鬥魚年度公會戰兩大顏值主播上演禮物大戰 耗資千萬元才分出勝負'
"今晚鬥魚年度公會戰在低調進行幾天之後，今晚終於爆發了終極的禮物大戰，來自顏值區的兩大主播在僅僅一輪的PK就打出了超過900多萬元的禮物，最終PDD的小象公會在最後一輪PK打出了將近600萬的禮物，將顏值區一姐比下去，並且拿到這次娛樂賽區的年度最佳公會。在這次年度公會戰，前...
創作者來直播
2019-09-19
'如何找對人、選好貨、鋪對場？尼爾森快消零售大數據揭開真相'
"中國商報/中國商網（記者 張濤）9月17日，尼爾森發佈了《揭祕高能市場：尼爾森中國城市快消零售大數據報告(2019)》。該報告彙集消費者、門店、地理特徵、產品及銷量等超過3萬個數據標籤，實現米級人貨場數據的立體融通。尼爾森表示，報告旨在幫助品牌商和零售商以最快速度瞭解市場...
'淘寶推廣方式方法大解析，讓推廣運營更有效'
"開淘寶店，做運營的第一步很重要。我見過很多的商家在運營淘寶店的時候，就是不知道怎麼去走好第一步，繞了很多的彎路。這些商家甚至還會問：為什麼我新品上架之後沒流量進來。首先，寶貝上架之後，絕大多數情況下，流量是不會憑空產生的，這一點大家都知道。寶貝的訪客流量，來自於淘寶給你寶...
'EDG下賽季大換血？知情人爆料：除了meiko外，其他人都離隊'
"隨著LPL夏季賽冒泡賽的結束，三支LPL參加S9世界賽的戰隊誕生，也意味著無緣今年S9世界賽的比賽的其他戰隊，將開始著力準備下個賽季的陣容變化了。其中這個賽季成績下滑比較明顯的就是EDG了，從最開始的S4、S5賽季制霸LPL，到後面稍有下滑，但是最差也能打進S賽，再到現在...
推薦中...