本篇案例為數據猿推出的大型“金融大數據主題策劃”活動（查看詳情）第一部分的系列案例/徵文；感謝 恆豐銀行 的投遞
作為整體活動的第二部分，2017年6月29日，由數據猿主辦，上海金融行業信息協會、互聯網普惠金融研究院聯合主辦，中國信息通信研究院、大數據發展促進委員會、上海大數據聯盟、首席數據官聯盟、中國大數據技術與應用聯盟協辦的《「數據猿·超聲波」之金融科技·商業價值探索高峰論壇》還將在上海隆重舉辦【論壇詳情丨上屆回顧】
在論壇現場，也將頒發“技術創新獎”、“應用創新獎”、“最佳實踐獎”、“優秀案例獎”四大類案例獎
來源：數據猿丨投遞：恆豐銀行
互聯網金融的蓬勃發展對銀行帶來巨大沖擊。但國家戰略對互聯網+、大數據技術的強調，也讓銀行意識到這也是改革和創新的新機遇。在這種新形勢下，一方面銀行開始加速佈局大數據技術在銀行領域的應用，另一方面相比原來以產品為核心的經營模式，銀行開始愈加重視以客戶為核心的經營模式。
在客戶管理及服務方面，銀行以往根據 “二八原則”，往往主要服務那些給銀行帶來80%收益的20%的客戶，但隨著利率市場化下銀行間競爭的加劇，“長尾”客戶也將成為競爭對象，此外單一粗暴的劃分原則也忽略了許多客戶更深層次的個性化需求。另一方面，受人力極限和技術所限，傳統的統計分析方法不僅缺少對客戶購買產品前的行為分析，更無法做到實時分析。如何在保持對高價值客戶服務質量的前提下進一步提升個性化的服務體驗，如何進一步挖掘長尾客戶的價值，如何實現精準營銷、如何提升客戶粘性、如何優化縮短產品購買路徑，如何防範欺詐交易等問題都是大數據時代銀行迫切期待解決的問題。
基於上述背景，恆豐銀行開始了基於大數據實時流處理技術的全量客戶行為實時分析系統的建設。
週期/節奏
在客戶行為實時分析系統研發之初，就確立了一切從“用”出發的核心思想，因此整個系統的開發過程一開始即擯棄了傳統的“項目管理制”的運行模式，而採用快速迭代，不斷完善的開發模式。
2015年10月，客戶行為實時分析系統項目建設工作啟動。
2016年2月，迅速完成第一版原型——基於手機銀行單臺服務器客戶操作日誌的點擊流實時分析——投產試運行。
2016年6月，客戶行為實時分析系統迭代實現了基於手機銀行、個人網銀的全量客戶操作日誌的點擊流實時分析功能。
2016年11月，迭代實現了可對單個客戶進行客戶畫像、渠道偏好、交易偏好進行分析的客戶價值分析功能，一期項目完成。
客戶名稱/所屬分類
恆豐銀行/客戶管理
任務/目標
客戶行為實時分析系統通過對客戶基本信息和行為數據的監測追蹤、收集整合、評估分析，為業務人員決策業務策略時提供更全面、更準確、更有價值的信息。從不同的角度出發，客戶行為實時分析系統需要達到不同的目標。
在全行的大數據建設規劃角度出發，客戶行為實時分析系統首先要實現兩個目標：一是構建面向全行客戶的群體客戶行為數據基線。二是可以實時的發現和處理個體客戶的差異性行為數據。前者是基礎，後者則是價值挖掘對象。沒有前者，後者也就無從對比和挖掘。
從業務角度出發，客戶行為實時分析系統主要需要達到或支持以下三個角度的業務要求：
1)在營銷角度，可以深度瞭解和分析客戶在持有、購買、放棄產品及應用的前、中、後期行為特徵，從而為客戶偏好、360度畫像、數據挖掘提供更精準的數據依據，最終實現精準營銷。
2)在風控角度，可以深度瞭解和分析客戶的活動範圍、生活軌跡、交易支付習慣等，從而為信貸風控提供有力證據。
3)在客戶體驗角度，一方面可以深度瞭解和分析銀行現有應用的運行狀況、應用中各個功能模塊的使用頻率、客戶訪問路徑長度等情況，從而為銀行應用設計和優化提供數據支持，讓銀行應用產品更符合客戶群體期望和個體期待；另一方面為客服系統、CRM、移動櫃員等前端應用提供更加精準的客戶信息，方便一線業務人員為客戶帶來更加個性化、定製化的服務體驗，提升銀行客戶粘性。
從技術角度出發，面對全量客戶海量行為數據，客戶行為實時分析系統要達到如下目標：
1)數據要能夠實時的採集和存儲。
2)數據要能夠實時計算和分析。
3)實時數據服務能夠實時展現和查詢。
挑戰
客戶行為實時分析系統在互聯網公司已不鮮見，但在銀行領域的建設與應用面臨的挑戰和需要探索的地方還有很多。
（1）監管挑戰
相比互聯網領域的客戶行為實時分析系統，銀行領域將面對更多來自風險管控方面的挑戰。銀行必須充分保護客戶隱私，在監管範圍內採集、分析和使用客戶行為數據。
（2）性能挑戰
銀行應用對可用性要求非常高，實時數據採集要在充分保證不影響源系統（例如手機銀行、個人網銀 等7*24小時面向客戶提供服務的系統）的服務性能後，再考慮如何提升數據的實時性，絕對不能影響客戶的正常使用。
（3）項目研發模式挑戰
銀行項目一般是項目管理制，這就需要我們與項目管理部門充分溝通項目需求的特殊性和快速迭代的必要性才能爭取到與項目相匹配的開發模式。
（4）系統改造挑戰
銀行應用多是在銀行大數據建設之前即已投入使用，在設計和建設之初無法充分考慮未來的大數據應用規劃，因此很多應用的客戶操作日誌提供信息不全，甚至缺少關鍵信息記錄，巧婦難為無米之炊，這為我們的系統建設帶來極大困難。對於缺少關鍵信息的系統，可能涉及到難度較大的系統改造，有的甚至可能牽一髮而動全身，不亞於整個系統的重構，這也為我們的系統建設帶來非常大的阻力。這時就非常需要來自領導層敢於改革的魄力、業務人員渴望創新的決心和配合系統相關同事的理解。
（5）技術選型挑戰
在技術選型方面，所選技術既要滿足實時性能高、可擴展性強、穩定性好、高可用、配置靈活易管理等要求，又要考慮與現有的大數據平臺無縫整合的問題，需要滿足的條件很多、技術選型難度很大。
（6）複雜的日誌採集與傳輸模式挑戰
需要採集日誌的終端，不僅有實體機，也有部署於OpenStack雲平臺的虛擬機，針對不同的終端需要研發不同的日誌採集功能；數據傳輸物理上跨數據中心、同中心內跨多個網段，在複雜的網絡傳輸環境下，如何保持數據傳輸結果一致性也是一個很大的挑戰。
實施過程/解決方案
（1）實時流處理平臺解決方案
客戶行為實時分析系統的核心是對客戶行為數據的實時採集、實時計算和實時查詢服務。但站在全行大數據建設角度看，需要實時處理的數據並不僅限於客戶行為數據，因此首先需要構建基礎的大數據實時流處理平臺。通過實時流處理平臺的建設，構建全行統一的實時數據應用平臺，結合恆豐銀行基於大數據平臺的新數據倉庫，實現對行內多項業務的全方位支持。以此平臺為基礎，可以為各種關注不同業務主題的應用提供實時流處理服務，客戶行為實時分析系統也是平臺之上的諸多應用之一。大數據實時流處理平臺的整體邏輯架構如下圖所示：
大數據實時流處理平臺的整體邏輯架構
平臺整體邏輯架構劃分為：數據源層、平臺層、流計算層、分佈式實時數據總線服務層、應用層五個邏輯層次。其中：
數據源層:提供多種形式的數據實時採集功能，向平臺推送數據。
平臺層:一方面對所有組件做了模板化封裝，以方便靈活部署在Docker容器或VM虛擬機上，使平臺具備彈性擴展能力，另一方面實現與恆豐銀行大數據平臺無縫對接，將結果數據寫入大數據平臺或者從大數據平臺實時獲取數據。
流計算層:是整個平臺的核心層, 底層基於恆豐銀行自主研發的Skyline開發框架構建，除實現了基本的流處理計算功能外，還構建了Streaming SQL模塊，分析人員可以通過該模塊直接在流上執行SQL語句，進行流上的數據關聯查詢；Streaming MLlib模塊提供了機器學習模型在流上的植入功能，可以將構建的數據挖掘模型隨時運行在流平臺之上；Streaming Cube模塊可以通過流實時構建多維度數據分析的數據立方體，進而在Cube上進行數據下鑽、上卷等多維度切片分析。綜上所述，流處理平臺即支持OLTP的實時類業務應用，也支持近實時OLAP分析類業務應用，且支持數據挖掘類業務應用。
分佈式實時數據總線服務層：為流處理平臺對外提供基礎服務層，每個服務均以微服務的方式部署發佈，具有彈性擴展和高可用特性。
應用層：該層主要體現流處理平臺在恆豐銀行現階段支撐的業務應用。
流處理平臺主要技術組件及部署架構圖
流處理平臺使用的主要技術組件及其在兩個數據中心部署的架構如上圖所示。其中：Zookeeper集群，主要負責配置流處理平臺管理和任務隊列管理功能；Flume Collector集群，主要負責流處理平臺文件類數據的接入工作；Streaming集群，為流處理平臺的核心組件集群，主要負責數據流處理功能；Kafka集群，主要負責消息訂閱與消息傳輸緩存功能；Redis集群，主要負責消息訂閱，數據分析及數據查詢功能；大數據平臺集群，主要負責數據的存儲、同步和數據分析挖掘等功能。
（2）客戶行為實時分析系統架構
前端應用（如手機銀行系統、網銀系統等）客戶操作日誌是文件類數據，對於這類文件類數據流處理平臺主要採用Flume client & server 模式，因此前端業務系統需要部署agent實時採集數據，Flume Collector 負責收集各agent數據，再將數據發送至流處理平臺，隨後由流處理平臺負責數據過濾、數據解析、數據補全等實時處理工作，最後應用層的客戶行為實時分析系統負責對實時性指標進行實時分析，對於非實時性指標則進行離線分析，並最終將分析結果以圖表形式展現給。客戶行為實時分析系統整體邏輯架構如下圖所示：
用戶行為實時分析系統的整體邏輯架構
（3）微服務化和Docker容器化
客戶行為實時分析系統還做到了微服務化和Docker容器化。我們將Akka微服務架構的集群負載，服務監控、故障恢復與彈性部署能力結合恆豐銀行數據中心PAAS雲平臺採用的Docker容器技術對應用級負載、監控、彈性資源分配以及快速部署能力相結合，對客戶行為實時分析系統的Xitrum、JDBC、 Redis 等功能組件進行了拆分，實現了整個應用的Docker容器化。
除了客戶行為實時分析系統，流處理平臺使用的flume、kafka、zookeeper等開源組件也實現Docker容器化並使用恆豐銀行DevOps工具服務，從開發、構建、測試到版本發佈的全流程自動化，中間提供包括計劃、任務分配跟蹤、問題跟蹤、文檔管理、版本發佈全過程的項目協作支持
（4）數據應用
通過深入瞭解業務需求，從營銷角度、風控角度、客戶體驗角度三個主要業務視角，我們主要設計了以下功能模塊：
營銷角度，既有為當前業務運營發展提供數據支持的客戶規模和質量、渠道運營分析模塊、實時狀態跟蹤、分析中心等功能模塊，也有為未來業務營銷發展打下數據基礎的個體行為分析、客戶屬性分析 等功能模塊。具體介紹如下：
客戶規模與質量：通過分析某些功能模塊的客戶使用情況，瞭解客戶產品偏好，分析客戶結構和質量信息，從而為銀行業務決策打下數據基礎。
渠道運營分析：聯動多個應用的使用情況，提供整體的運營分析情況。
實時狀態跟蹤：通過實施檢測當前客戶使用應用的情況，可實時發現例如服務異常等突發事件情況，從而做到及時預警，為事件預警和處理贏得時間。
分析中心：為業務定製化輸出各類分析報告，滿足業務日常運營需求。
個體行為分析：把單個客戶的行為分析單獨統計分析，從而為反欺詐、精準營銷等提供數據基礎。
客戶屬性分析：通過分析客戶常用應用終端、客戶常用地域等，分析客戶基礎屬性信息，從而為交易反欺詐、精準營銷打下數據基礎。
風控角度：主要有個體行為分析、客戶屬性分析 等模塊，具體上文已描述。
客戶體驗角度：從提升客戶體驗角度出發，為行內應用優化方向提供數據證據的有客戶參與度分析、功能分析 等模塊。具體介紹如下：
客戶參與度分析：通過獲取客戶的使用時長、訪問深度、應用各功能模塊的使用等情況，分析客戶應用使用情況信息，從而為應用優化等打下數據基礎。
功能分析：分析某個應用的客戶最常用路徑，瞭解客戶常用行為，從而為優化路徑提供數據說明。
結果/效果總結
客戶行為實時分析系統填補了恆豐銀行在客戶行為分析方面的空白。業務人員第一次能夠直面感受和了解客戶真實的應用使用行為狀態。例如：
（1）客戶規模與質量——活躍客戶指標（部分）
活躍客戶指標之基金、理財模塊客戶每日活躍、每週活躍情況
通過分析理財、基金等功能模塊的客戶活躍指標，觀察銀行理財偏好客戶在全行佔比情況，以及理財、基金產品的關注情況，從而更好的瞭解銀行客戶的規模和質量。
（2）客戶參與度分析——訪問時段統計
客戶訪問時段分佈之按小時分佈
該功能呈現選定時間段內的登錄客戶、匿名客戶、客戶整體訪問時段分佈情況。如果按小時統計，通過分析可以明顯看出每天都會呈現三個客戶活躍高峰，分別對應早、中、晚的某個特定時段，其中每天早間時段客戶最為活躍。如果按天觀察，可以看出，週一、週二客戶最為活躍，週六、週日客戶最為不活躍。基於此，我們可以讓業務更好的制定或優化營銷策略，例如加大週一、週二早間時段的渠道營銷力度，可能會獲得更佳營銷效果。
綜上，藉助客戶行為實時分析系統，從全渠道運營上，渠道業務人員能夠隨時瞭解渠道系統客戶的地域分佈、訪問時段分佈、交易類型分佈、關注產品分佈、終端使用分佈信息等，從而判斷產品運營情況，提高產品運營水平；從精準營銷上，渠道業務人員能夠隨時瞭解單一客戶的理財產品偏好、基金產品偏好、地域偏好、功能偏好、訪問時段偏好等行為畫像信息，從而為後續精準營銷、個性化定製應用、反欺詐等打下堅實數據基礎。
基於上述數據積累，我們還在流失預警、客戶分群、消費週期模型、理財產品銷量預測模型方面也進行了一系列模型挖掘研究。
企業介紹：
恆豐銀行股份有限公司是12家全國性股份制商業銀行之一，註冊地煙臺。
近年來，恆豐銀行穩健快速發展。截至2016年末，恆豐銀行資產規模已突破1.2萬億元，是2013年末的1.6倍；各項存款餘額7682億元，各項貸款餘額4252億元，均比2013年末翻了一番。2014年至2016年累計利潤總額312.17億元，這三年的累計利潤總額為以往26年的累計利潤總額；服務組織架構不斷完善，分支機構數306家，是2013年末的兩倍。
近年來，恆豐銀行屢獲榮譽。在英國《銀行家》雜誌發佈的“2016全球銀行1000強”榜單中排名第143位；在香港中文大學發佈的《亞洲銀行競爭力研究報告》中位列亞洲銀行業第5位；在中國銀行業協會發布的“商業銀行穩健發展能力‘陀螺（GYROSCOPE）評價體系’”中，綜合能力排名位列全國性商業銀行第7位，全國性股份制商業銀行前三；榮獲“2016老百姓最喜歡的股份制商業銀行”第二名、“2016年互聯網金融創新銀行獎”、“2016年最佳網上銀行安全獎”、“2016年度創新中國特別獎”等多項榮譽。
作為一家肇始於孔孟之鄉山東的全國性股份制商業銀行，恆豐銀行秉承“恆必成 德致豐”的核心價值觀，踐行“1112·5556”工程，即：一個願景（打造“精品銀行、全能銀行、百年銀行”）、一個文化（打造“開放、創新、競爭、協同、守規、執行”的“狼兔文化”）、一個目標（五年目標是以客戶為中心，以創新為驅動，高效協同，彎道超車，五年內進入全國性股份制商業銀行第二方陣；十年目標是要打造一個國際金融控股集團）、兩個策略（“植根魯蘇，深耕成渝，拓展中部六省和海西，進軍京滬廣深”的區域策略和“四輪驅動、兩翼齊飛”的經營策略）、“五化”強行戰略（國際化、信息化、精細化、科技化、人才化）、“五力”工作方針（忠誠力、執行力、目標力、風險經營力、恆久發展力）、五個引領（人才引領、科技引領、創新引領、效率引領、效益引領）、六大綜合能力（價值分析能力、風險鑑別能力、定價能力、創新能力、調研能力、學習能力）；大力實施“12345”行動綱領，即:“1”是做金融綜合解決方案的提供商，“2”是金融雲平臺和大數據平臺，“3”是數字銀行、交易銀行、銀行的銀行，“4”是龍頭金融、平臺金融、家庭金融、O2O金融等四大金融創新業務模式，“5”是投行、資管、平臺、人才盤點和以“One Bank”為核心的績效評價體系等五大戰略落地工具，致力於做“知識和科技的傳播者、渠道和平臺的建設者、金融綜合解決方案的提供者”，力求打造令人矚目、受人尊敬的商業銀行，為客戶和社會提供效率最高、體驗最佳的綜合金融服務。
歡迎更多大數據企業、大數據愛好者投稿數據猿，來稿請直接投遞至：[email protected]
相關推薦
