本篇案例為數據猿推出的大型“金融大數據主題策劃”活動（查看詳情）第一部分的系列案例/徵文；感謝 帆軟軟件 的投遞
作為整體活動的第二部分，2017年6月29日，由數據猿主辦，互聯網普惠金融研究院合辦，中國信息通信研究院、大數據發展促進委員會、上海大數據聯盟、首席數據官聯盟協辦的《「數據猿·超聲波」之金融科技·商業價值探索高峰論壇》還將在上海隆重舉辦【論壇詳情丨上屆回顧】
在論壇現場，也將頒發“技術創新獎”、“應用創新獎”、“最佳實踐獎”、“優秀案例獎”四大類案例獎
來源：數據猿丨投遞：帆軟軟件
證券行業是中國計算機應用高度密集的行業之一，較高的信息化水平使其積累了大量的數據，如客戶信息、客戶交易數據、股票市場信息、上市公司信息等。如何利用好各項數據是券商擺脫低層次的同質化競爭，走向差異化服務優勢的重要途徑。那麼以數據為基礎，通過數據分析指導服務和決策就顯得尤為重要。
在東北證券的數據平臺建設完畢之後，結構化數據初步實現了統一歸集，數據報表和圖表可視化均可以通過Cognos工具實現。但是，由於Cognos使用繁瑣、開發複雜，東北證券的數據小組一直無法接手該工具。
同時，東北證券的新需求不斷出現，亟需通過系統保存工作中產生的結構化數據，取代excel記錄和上報數據的模式。所以，東北證券自助開發了“數據助手”這一B／S架構的系統，較為完善的解決了當前數據填報的需求。
但是，因為多種原因，兩個系統並未採用統一數據庫，報表數據查詢基於oracle數據庫，數據填報則基於SQL server數據庫。數據同步通過ETL工具，每天晚上定時將數據助手庫數據抽取至數據平臺庫。總之，兩個不同的系統和兩個不同的數據庫，讓業務人員在使用上費時費力，讓IT人員在後臺管理上勞心勞力。
東北證券有著近百家營業網點，分佈於全國各地，公司總部對各營業網點的任務數據下達需求越發強烈。此外，在大數據和商業智能報表系統技術的迅速發展下，東北證券信息技術部認為，公司需要一套全新的智能報表系統，解決上述全部痛點，同時能夠迎上大數據可視化的浪潮，幫助公司不斷向前。
週期/節奏
2015年11月，東北證券信息技術部完成了公司大數據分析挖掘平臺可行性分析報告，其中智能報表系統將作為其平臺上層應用系統之一。報告分析比較了開源版大數據平臺和商用版大數據平臺的優缺點，已經智能報表系統在大數據平臺之上能夠為公司提供哪些應用場景。
2016年1月至2月，東北證券信息技術部完成了國內幾家大數據平臺、智能報表系統等產品的POC測試，完成POC測試報告的編制。
2016年7月，在智能報表系統方面，東北證券選擇了帆軟報表系統。
2016年8月，完成報表開發的總體需求分析工作，確定了統一的報表式樣。
2016年9月，完成了各項需求的開發和測試工作。
2016年10月，東北證券智能報表系統上線試運行。
2016年11月，東北證券智能報表系統正式上線運行。
2016年11月至今，東北證券信息技術部已經能夠獨立承擔公司各項報表開發工作，對公司各業務部在報表數據支持方面，做到了報表需求及時響應，快速落地。
開發工具：帆軟報表FineReport。
客戶名稱/所屬分類
東北證券股份有限公司/大數據技術服務
任務/目標
1、智能報表系統能夠對接Hadoop大數據平臺，通過此係統能夠完成BI拖拽和分析功能；
2、實現東北證券各營業網點有權限的查詢統計自家資產、交易量和客戶數等數據；
3、實現東北證券各營業網點有權限的查詢公司總部下達的任務及最新任務完成情況；
4、解決數據填報的問題，在一套系統中實現數據查詢和數據填報等功能，擁有附件上傳等功能；
5、實現東北證券經紀業務管理部、零售客戶部、網絡金融部的考核任務填報、績效考核數據填報；
6、實現東北證券經紀業務管理部對公司各營業網點的基本信息、人員信息、經紀業務數據等多項數據的上報、審核和管理；
7、實現智能報表系統同電子簽字板對接，實現無紙化簽字辦公，實現辦公簽字統一管理。
挑戰
項目實施過程中，主要的挑戰來自以下幾個方面:
1.傳統關係型數據倉庫對於大數據量數據的統計、計算效率上的挑戰。
2.公司各項經營指標計算方式的瞭解、掌握、梳理工作。公司數據平臺採集彙總多個系統數據，每個系統有各自的供應廠商負責，所以如何瞭解、掌握各系統數據庫表結構，梳理出一系列準確的指標項數據是我們首要面對的挑戰之一。
3.由於東北證券的營業網點數量近百家，並且每家營業網點均有3人使用此係統進行數據填表和查詢等工作，這樣在營業網點方面用戶數量有3百人，用戶數量較大。
同時，地域分佈廣，所以在系統上線初期，如何讓如此數量的公司員工學會使用該系統，讓其學會通過此係統完成數據填報和Excel數據導入等，是比較大的挑戰。
4.東北證券總部處於東北長春，相比其他地方，在IT技術、IT人員方面均有不小差距，在大數據技術方面更是如此。所以公司如何能夠招入更多大數據技術人才，組建大數據團隊，真正將公司大數據平臺運作起來，是一項不小的挑戰。
實施過程/解決方案
1、平臺架構
公司數據平臺基於Oracle數據庫實現，在大數據量數據的統計、計算效率上性能低下，導致某些報表查詢時間超長，操作不友好。
在公司尚不具備Hadoop大數據平臺的背景下，先通過編寫存儲過程的方式，優先計算出結果數據，並保存在一張結果表中，從而大幅縮短查詢時長。但是仍存在一個問題，就是查詢數據僅能實現T+1式查詢。
與此同時信息技術部正在籌建Hadoop大數據平臺，從而徹底解決此問題。
2、數據採集
在數據採集方面，由於東北證券擁有數據平臺，能夠實現結構化數據的歸集。每個工作日，在櫃檯交易系統數據初始化完成後，開始進行櫃檯數據、CRM數據、自營、資管等十多個應用系統數據的採集工作。在數據採集方面不存在困難。
3、數據清洗
較為複雜的工作就是數據清洗。由於ODS層數據包括了櫃檯數據、CRM數據、自營、資管等十多個應用系統數據，並且每個系統供應廠商並不相同，所以在數據清洗環境耗時耗力較大。
各系統供應商中，有的不同意提供系統表結構文檔，有的同意提供系統表結構文檔但是文檔質量不高，或是文檔更新緩慢。
對於不同意提供系統表結構文檔的系統供應商，採用同其項目經理溝通指標需求的方式，由其反饋基於ODS層數據的SQL語句。
對於同意提供系統表結構文檔的系統供應商，採用先查看錶結構文檔，根據文檔內容同其項目經理溝通指標需求，自主編寫SQL語句。此方式較上一種而言，效率更高效，並且可以使我們快速瞭解表含義和結構關係。
數據清洗結果產出多項數據指標，用於支持智能報表查詢統計。
4、數據填報報表開發
數據填報報表分為總部業務部門填報報表和營業網點填報報表。
(1)總部業務部門
總部業務部門填報報表主要用於編制營業網點當年任務、預算，往年績效數據。
如公司網絡金融部根據各營業網點去年開戶數量、導流數量，再乘以一定比例，即定義出各營業網點今年需推廣安裝融e通App的任務數據。此時，數據仍存儲在Excel文件中，通過系統的Excel導入功能，導入此數據。
營業網點通過系統可以查詢到自家各項任務數據，同時也可以查看到前一工作日任務完成情況數據。例如，本年度任務數量為1萬戶，截至到上一工作日完成數量3千戶，剩餘7千戶，完成比例30%。
由於總部下達的各項任務數據的計算公式每年都會有變動，所以採用通過數據填報的方式導入數據，而不是在數據平臺中通過sql語言編寫。優點主要為，計算過程和計算思路均由業務部門完成，技術部門僅需根據需求提前做出填報報表即可。
(2)營業網點
營業網點通過填報報表主要進行數據上報等工作。
公司在沒有這種B/S架構系統之前，每個月月初，營業部數據上報需要通過填寫Excel後，郵件發送至總部，再由總部逐一核查存檔。這種工作方式，對於擁有上百家營業部的公司而言，簡直是噩夢。
而如今，通過此係統，公司營業網點在每月月初填報數據即可。現已經做成的填報報表有營業部基本信息報表、營業部人員信息報表、營業部許可證掃描件、營業部經紀數據上報報表等6張填報報表。
(3) 實施過程
●在數據平臺中創建符合該需求的數據庫表，建立表字段及索引，建立ID主鍵。
●通過智能報表系統的可視化報表開發工具，完成填報報表與數據平臺相應表的關聯，保證在系統前端，新增、修改、刪除數據的同時，對後臺物理表進行相同操作。
●定製開發Excel增量導入插件，通過java編程方式，開發Excel增量導入插件，實現大批量數據，以Excel增量導入的方式，將數據存儲後臺數據庫。
●將開發好的數據填報報表掛至系統，在授權後，公司業務部門人員可以訪問此報表。
5、考核數據、經營數據查詢
除數據填報報表外，另一大類別報表就是考核、經營數據查詢報表。
公司總部，如經紀業務管理部、零售客戶部、機構業務部、網絡金融部等等，查詢公司經營數據為全體營業網點數據。公司各營業網點則只能查詢自家經營數據。
經營數據包括了，新開客戶數據、客戶資產數據、客戶交易量數據、理財產品持倉數據等，包括了公司所有業務部門，所有業務的經營數據。
實施過程：
●各項經營指標的編寫梳理工作，通過編寫sql的方式，根據指標基本含義，完成某統計報表腳本編寫工作。
●通過智能報表系統的可視化報表開發工具，完成sql腳本同報表樣式的綁定工作。
●將開發好的統計報表掛至系統，在授權後，公司業務部門人員可以訪問此報表。
6、編制使用手冊
使用手冊主要用於讓公司各業務網點的數據填報人員儘快瞭解掌握數據填報功能。
結果/效果總結
案例項目上線後，該系統得到了東北證券各業務部門、營業網點的肯定。系統指標項規模達到1千左右，系統月查詢次數突破1.8萬次/月，環比增加100%以上。
東北證券的營業網點在數據查詢、統計、上報方面更加遊刃有餘，實時高效，讓其有更多的時間做客戶服務工作。
未來的規劃
東北證券的數據量約有30TB，在傳統數倉下，查詢統計數據時效性均無法令人滿意，在做數據挖掘時，傳統數倉中的數據模型工具缺少已成為阻礙挖掘的絆腳石。當前，東北證券已經立項並考察測試了國內多家大數據平臺，同時結合帆軟報表進行POC測試，測試結果令人滿意。
東北證券打算在大數據平臺上線後，結合現有帆軟報表的BI功能，實現以下項目目標。
一期項目建設目標（2017年7月至2017年12月）
（1）搭建分佈式大數據平臺，作為公司唯一的分佈式架構平臺，作為公司唯一的結構化數據和非結構化數據存儲分析計算平臺；
（2）用好公司現有數據，將數據指標化、標準化；
（3）完成與帆軟智能報表系統對接，讓業務部門可以自主出具報表；
（4）上線大數據平臺門戶系統，作為公司大數據平臺門戶系統，管理大數據平臺上層各項應用系統。
二期項目建設目標（2018年1月至2018年6月）
（1）補充外包數據，打通公司客戶的內外數據；
（2）建造客戶服務、產品營銷新模式，創建客戶/產品標籤系統，上線資訊/產品推薦系統，創建客戶、產品分析模型；
（3）加強與線上用戶的聯繫和互動，提升客戶體驗；
（4）建立多項風險分析模型，做到風險控制、預警。
三期項目建設目標（2018年7月至2018年12月）
（1）將固定的流程化業務工作，交由機器算法完成，減少人工工作量，例如非現場開戶業務、電話服務錄音分析；
（2）加強公司輿情信息監控，及時避免負面消息的蔓延；
（3）監控金融證券輿情信息，分析並得出其對市場的影響力度，即可服務公司，也可服務客戶。
企業介紹：
東北證券
東北證券股份有限公司（以下簡稱“公司”）前身為吉林省證券公司。2000年6月經中國證監會批准，經過增資擴股成立東北證券有限責任公司。2007年8月，錦州經濟技術開發區六陸實業股份有限公司定向回購股份，以新增股份換股吸收合併東北證券有限責任公司，並更名為“東北證券股份有限公司”。
2007年8月27日，公司在深圳證券交易所掛牌上市，股票簡稱為“東北證券”，股票代碼為000686。公司註冊地為吉林省長春市，註冊資本為23.40億元。
經過近三十年的努力，公司規範經營，不斷進取，無論經營規模還是綜合實力都取得了翻天覆地的變化。截至目前，公司已經開展全面證券及與證券相關的業務，包括證券經紀、證券承銷與保薦、證券自營、證券研究諮詢、IB、直接投資、融資融券、中小企業私募債、約定購回式證券交易、股票質押式回購交易、代銷金融產品等業務，形成了較為完整的業務體系。
同時，公司堅持多元化發展，積極開展對外投資業務，已設立東證融通直投子公司、東證融達另類投資子公司、東證融匯證券資產管理子公司，控股渤海期貨、東方基金，參股銀華基金，建立起集證券、基金、期貨為一體的開展綜合金融服務的控股集團。
公司已在全國24個省、自治區、直轄市的57個大中城市設立98家證券營業部，35家區域分公司，並在北京、上海設立了4家分公司，公司全國戰略佈局趨於合理並形成了一定的規模優勢和品牌優勢。
公司肩負“融通資源，創造財富”的使命，堅持“一切以客戶收益為重，一切以員工利益為重，一切以股東權益為重，一切以社會效益為重”的核心價值觀，在穩健中經營、在創新中發展、在服務中共贏。公司致力於建立和諧的經營管理團隊，通過充分調動全體員工的積極性，從根本上提高公司的創利能力，回報股東，回報社會。
帆軟軟件
帆軟軟件有限公司（以下簡稱帆軟）成立於2006年，帆軟軟件是中國國內商業智能和數據分析平臺提供商，沉澱數據分析領域十餘年，致力於為全球企業提供一站式數據分析解決方案；同時也是行業優質交流平臺的組織者。經過10餘年的發展，帆軟在數據分析行業的品牌領導力和品牌影響力上已遙遙領先。
企業客戶企業客戶總計超過6000家，增量、總量均為業內第一。用戶開發者超20萬，每天有超過100萬人使用帆軟產品。
歡迎更多大數據企業、大數據愛好者投稿數據猿，來稿請直接投遞至：[email protected]