導(dǎo)語：大數(shù)據(jù)技術(shù)證券行業(yè)分析一文來源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：大數(shù)據(jù)技術(shù)是證券行業(yè)主要研究的科技創(chuàng)新方向之一，文章對大數(shù)據(jù)技術(shù)在國內(nèi)證券行業(yè)的研究現(xiàn)狀進(jìn)行介紹，并對大數(shù)據(jù)技術(shù)研究方向進(jìn)行劃分，對建設(shè)大數(shù)據(jù)平臺面臨的困難進(jìn)行分析，對平臺框架構(gòu)建進(jìn)行了深入介紹。從而可以使證券公司結(jié)合情況，選擇最適用于自己的大數(shù)據(jù)技術(shù)策略，并提高困難解決能力，構(gòu)建出適用自己的大數(shù)據(jù)技術(shù)框架。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；證券行業(yè)；大數(shù)據(jù)技術(shù)框架

近幾年在金融行業(yè)，“金融科技”、“監(jiān)管科技”等詞匯總是會被人們頻繁提起，這是因?yàn)榭萍紝ψC券行業(yè)的服務(wù)模式起到了極為深刻的變革創(chuàng)新。隨著金融科技中的新興技術(shù)的蓬勃發(fā)展，證券行業(yè)如何正確使用這類新興技術(shù)，如何將自身發(fā)展同這類技術(shù)綁定，這些問題都留給了證券行業(yè)很多的選擇。

1大數(shù)據(jù)技術(shù)的國內(nèi)現(xiàn)狀

隨著大數(shù)據(jù)技術(shù)進(jìn)入國內(nèi)的證券行業(yè)，越來越多的證券公司都開始覺察到大數(shù)據(jù)的價(jià)值，逐漸開始啟動大數(shù)據(jù)的相關(guān)研究和分析工作，試圖通過大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的實(shí)際價(jià)值。現(xiàn)介紹三則證券公司的使用實(shí)例。交易日志監(jiān)控分析系統(tǒng)，是包含了手機(jī)端和網(wǎng)頁端日志的存儲，并對服務(wù)器性能，用戶交易行為和支撐系統(tǒng)運(yùn)營狀況進(jìn)行監(jiān)控分析。交易日志監(jiān)控分析系統(tǒng)支持海量的日志存儲和分析，提高了現(xiàn)有系統(tǒng)的管理和運(yùn)營水平。異常交易預(yù)警系統(tǒng)是基于大數(shù)據(jù)平臺中的相關(guān)用戶信息，對異常交易行為進(jìn)行提前預(yù)警，比如高買低賣利益?zhèn)魉皖A(yù)警，長期閑置賬戶頻繁異動預(yù)警，大量委托查詢請求預(yù)警等?？蛻舢嬒裣到y(tǒng)是將通過自由源數(shù)據(jù)和第三方數(shù)據(jù)收集的客戶信息傳送到大數(shù)據(jù)平臺中，對數(shù)據(jù)進(jìn)行計(jì)算后將結(jié)果放入到用戶畫像系統(tǒng)和模型管理系統(tǒng)中，得到的最終輸出結(jié)果作為業(yè)務(wù)應(yīng)用。用戶畫像系統(tǒng)是對客戶進(jìn)行計(jì)算分析后，添加各類描述標(biāo)簽，構(gòu)建出一個(gè)嚴(yán)格的標(biāo)簽體系，并把結(jié)果推送給業(yè)務(wù)進(jìn)行使用。畫像系統(tǒng)和模型系統(tǒng)得到的最終分析結(jié)果，可以一起發(fā)送給上層應(yīng)用，實(shí)現(xiàn)金融產(chǎn)品推薦，精準(zhǔn)廣告投放，線下客服溝通，風(fēng)險(xiǎn)防控等服務(wù)。

2大數(shù)據(jù)平臺的構(gòu)建

2.1大數(shù)據(jù)技術(shù)的分類劃分。針對大數(shù)據(jù)技術(shù)的數(shù)據(jù)實(shí)時(shí)性特點(diǎn)和計(jì)算復(fù)雜程度的特征，可以對大數(shù)據(jù)技術(shù)的使用情況進(jìn)行復(fù)雜程度和實(shí)時(shí)性分類，根據(jù)這樣的劃分，得以結(jié)合證券公司本身的研發(fā)特點(diǎn)和實(shí)力，制定出相應(yīng)的研發(fā)方向，建立起自身的競爭優(yōu)勢。研發(fā)的方向可以歸納為四個(gè)類型——描述型、診斷型、預(yù)測型和指導(dǎo)型。傳統(tǒng)企業(yè)都比較擅長使用描述型數(shù)據(jù)和診斷型數(shù)據(jù)，所以真正把數(shù)據(jù)運(yùn)用得當(dāng)，取決于預(yù)測型數(shù)據(jù)和指導(dǎo)型數(shù)據(jù)的使用。描述型數(shù)據(jù)主要體現(xiàn)在報(bào)表類業(yè)務(wù)，其讓事件反映的具體、清晰；診斷型數(shù)據(jù)是針對所出現(xiàn)的問題進(jìn)行判斷分析，比如根據(jù)財(cái)務(wù)數(shù)據(jù)的指標(biāo)，發(fā)現(xiàn)企業(yè)的財(cái)務(wù)運(yùn)行情況等；預(yù)測型數(shù)據(jù)是由數(shù)據(jù)來預(yù)測將來事物發(fā)展的趨勢，可以提前發(fā)現(xiàn)事物的潛在問題再進(jìn)行糾正，也可以預(yù)測行情變換進(jìn)行投資交易獲利；指導(dǎo)型數(shù)據(jù)可以根據(jù)客戶的行為習(xí)慣來挖掘客戶的潛在需求，幫助證券公司做出更好的產(chǎn)品或者對應(yīng)服務(wù)，指定針對性營銷方案從而獲得更好的投資回報(bào)。2.2大數(shù)據(jù)平臺構(gòu)建的困難。證券公司在構(gòu)建真正的大數(shù)據(jù)平臺時(shí)，應(yīng)該結(jié)合自身的實(shí)際情況，分析將要面臨的困難挑戰(zhàn)。證券公司所面臨的困難可以分為五大方面，分別是：性能、海量、實(shí)時(shí)、精準(zhǔn)、共享。性能問題是指客觀硬件上性能不足，導(dǎo)致數(shù)據(jù)運(yùn)行時(shí)間長，復(fù)雜查詢或者過高頻率的并發(fā)查詢的效果過差。海量問題是客觀存在的多樣性大量數(shù)據(jù)所導(dǎo)致的問題，這是因?yàn)閿?shù)據(jù)的格式過于多樣，而承載數(shù)據(jù)量總是有限的，不可能存儲全部的海量數(shù)據(jù)。實(shí)時(shí)性是指獲取和處理數(shù)據(jù)的能力，實(shí)時(shí)性的局限會對實(shí)施事件、動態(tài)營銷、智能服務(wù)等造成影響。精準(zhǔn)性困難是指缺乏對投資者資產(chǎn)臺賬清算的思維，僅僅依靠傳統(tǒng)的技術(shù)手段是無法全面掌握客戶的需求和偏好。共享性困難是指數(shù)據(jù)難以提取和使用，訪問的方式過于單一，對不同業(yè)務(wù)系統(tǒng)或者專項(xiàng)統(tǒng)一數(shù)據(jù)的支撐能力的有限性。在面對這些數(shù)據(jù)的同時(shí)，應(yīng)該以數(shù)據(jù)為起點(diǎn)，應(yīng)用為核心，而整個(gè)過程是重復(fù)著“去解決數(shù)據(jù)問題”和“數(shù)據(jù)去解決問題”的反饋機(jī)制，在這個(gè)機(jī)制中，證券公司應(yīng)該不斷加強(qiáng)數(shù)據(jù)應(yīng)用能力、數(shù)據(jù)運(yùn)算能力和數(shù)據(jù)融合能力。2.3大數(shù)據(jù)平臺框架構(gòu)建。大數(shù)據(jù)平臺的總體框架是由平臺、引擎和行業(yè)數(shù)據(jù)模型三者構(gòu)建。其中平臺包含數(shù)據(jù)整合平臺（ETL工具集）、數(shù)據(jù)管控平臺（數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、運(yùn)維監(jiān)控）和數(shù)據(jù)服務(wù)平臺（數(shù)據(jù)資源管理、數(shù)據(jù)服務(wù)總線、安全監(jiān)控等）；數(shù)據(jù)流引擎包含計(jì)算引擎和數(shù)據(jù)流引擎；最后的模塊是行業(yè)數(shù)據(jù)模型。如下將對個(gè)組成模塊進(jìn)行講解。數(shù)據(jù)整合平臺需要采取不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，平臺為了適應(yīng)據(jù)中心多類型數(shù)據(jù)源采集的需要，需要支持多種類型的數(shù)據(jù)采集方式，其中主要包括：第三方工具集成（Kettle/Infor-matica、Flume、Kafka）、消息隊(duì)列接口(點(diǎn)對點(diǎn)模式、與訂閱模式、實(shí)時(shí)消息隊(duì)列)、API接口（接口封裝技術(shù)、API多調(diào)用方式、API可擴(kuò)展設(shè)計(jì)）、和FTP/SFTP接口（接口信息配置、采集觸發(fā)設(shè)置、裝載規(guī)則設(shè)置）等。數(shù)據(jù)管控平臺是對數(shù)據(jù)質(zhì)量或者系統(tǒng)運(yùn)行進(jìn)行監(jiān)控。在運(yùn)維監(jiān)控功能上，主要分析ETL日歷、數(shù)據(jù)分布、變化趨勢、存儲情況和大表；元數(shù)據(jù)管理上針對的是數(shù)據(jù)字典、數(shù)據(jù)標(biāo)準(zhǔn)、調(diào)度關(guān)系、數(shù)據(jù)表登記和映射；元數(shù)據(jù)分析包含了血統(tǒng)分析、影響分析等；數(shù)據(jù)質(zhì)量管理是針對數(shù)據(jù)監(jiān)控報(bào)告、閥值檢測、字典異動、清洗結(jié)果和檢測配置管理等；系統(tǒng)管理則是對系統(tǒng)參數(shù)和系統(tǒng)資源進(jìn)行統(tǒng)一管理。數(shù)據(jù)服務(wù)平臺的定位是為數(shù)據(jù)服務(wù)的提供開發(fā)能力和數(shù)據(jù)支持，并且提供滿足證券公司內(nèi)外部客戶需求的能力。平臺需要對服務(wù)進(jìn)行監(jiān)控和管理，保證數(shù)據(jù)的安全。服務(wù)監(jiān)控是要對配合進(jìn)行控制、對流量進(jìn)行控制、對日志進(jìn)行控制；服務(wù)管理，是要做好服務(wù)的、服務(wù)編排、服務(wù)目錄管理和服務(wù)結(jié)算；在數(shù)據(jù)安全方面，要對數(shù)據(jù)進(jìn)行脫敏處理，對數(shù)據(jù)進(jìn)行加密，保證接入安全，事后進(jìn)行審計(jì)。數(shù)據(jù)服務(wù)平臺的構(gòu)建，首先是對大數(shù)據(jù)進(jìn)行存儲，并且分配好數(shù)據(jù)服務(wù)層、功能服務(wù)層和基礎(chǔ)服務(wù)層[1]。數(shù)據(jù)服務(wù)層包含了業(yè)務(wù)數(shù)據(jù)、客戶數(shù)據(jù)、風(fēng)險(xiǎn)數(shù)據(jù)、產(chǎn)品資源數(shù)據(jù)、渠道解除數(shù)據(jù)等；功能服務(wù)層，包含了分析服務(wù)、展示服務(wù)、日志服務(wù)、事件通知服務(wù)、數(shù)據(jù)查詢服務(wù)、數(shù)據(jù)處理服務(wù)、數(shù)據(jù)交換服務(wù)等；基礎(chǔ)服務(wù)層包含了位置服務(wù)、用戶畫像服務(wù)、價(jià)值洞察服務(wù)等等。服務(wù)開放總線提供對業(yè)務(wù)的支持，總線需要滿足接入功能（HTTP、JDBC、消息等）、路由功能（服務(wù)查找、服務(wù)路由）、負(fù)載功能（負(fù)載均衡、服務(wù)緩存）和適配功能（SQL、MR、Hbase等）。計(jì)算引擎需要實(shí)現(xiàn)的目標(biāo)是精益化計(jì)算，對多年沉淀積累的行業(yè)數(shù)據(jù)進(jìn)行計(jì)算。計(jì)算引擎可自行定義運(yùn)算流程，使用豐富的運(yùn)算組件并靈活調(diào)度，達(dá)到流程節(jié)點(diǎn)可視化，整個(gè)流程達(dá)到可調(diào)可用可改。同時(shí)也要求計(jì)算引擎實(shí)現(xiàn)多模式計(jì)算，根據(jù)業(yè)務(wù)設(shè)計(jì)運(yùn)算模式，支持復(fù)雜業(yè)務(wù)的定義，達(dá)到隨時(shí)可用，隨時(shí)可取的要求，并且全面支持基礎(chǔ)業(yè)務(wù)組件。計(jì)算引擎是由分析引擎、批量計(jì)算引擎和實(shí)時(shí)計(jì)算引擎三者構(gòu)建，其中分析引擎主要含有MPP組、OLAP、Smlib和ES；批量計(jì)算引擎有Spark等；實(shí)時(shí)計(jì)算引擎有SparkStreaming和Rddis組成。數(shù)據(jù)流引擎的流程是從組建涉及、流程設(shè)計(jì)、作業(yè)管理到作業(yè)日志進(jìn)行分部處理。行業(yè)數(shù)據(jù)模型按照數(shù)據(jù)倉庫模型的層次劃分，依次分為業(yè)務(wù)建模、領(lǐng)域建模、邏輯建模和物理建模。業(yè)務(wù)建模中的模型為業(yè)務(wù)模型，將業(yè)務(wù)層面的分解和程序化；領(lǐng)域建模中的模型為領(lǐng)域模型，是對業(yè)務(wù)模型進(jìn)行抽象處理，生成領(lǐng)域模型；邏輯建模中的模型為邏輯模型，是將領(lǐng)域模型的概念實(shí)體以及實(shí)體之間的關(guān)系進(jìn)行數(shù)據(jù)庫層次的邏輯化。物理建模中的模型為物理模型，解決邏輯模型針對不同關(guān)系型數(shù)據(jù)庫的物理化，以及服務(wù)器性能等具體的技術(shù)問題[2]。構(gòu)建一個(gè)完整的行業(yè)數(shù)據(jù)模型，需要對業(yè)務(wù)進(jìn)行全面梳理，對業(yè)務(wù)流程加以改進(jìn)。要建立全方位的數(shù)據(jù)視角，消滅信息孤島和數(shù)據(jù)差異，致力于解決業(yè)務(wù)的變動性和數(shù)據(jù)倉庫的靈活性帶來的問題，幫助數(shù)據(jù)倉庫系統(tǒng)進(jìn)行自我建設(shè)。

3結(jié)語

本文對大數(shù)據(jù)技術(shù)的分析和框架搭建的介紹和建議，可以在證券行業(yè)進(jìn)行大數(shù)據(jù)技術(shù)實(shí)踐中得以學(xué)習(xí)借鑒和技術(shù)參考，為企業(yè)提供更多的創(chuàng)新思路，得以結(jié)合證券企業(yè)自身情況和特點(diǎn)找到符合公司本身的發(fā)展之路。相信本文可以對證券行業(yè)進(jìn)行大數(shù)據(jù)技術(shù)探索的工程師，學(xué)數(shù)據(jù)技術(shù)的愛好者起到良好的指導(dǎo)作用，也對證券公司如何進(jìn)行金融創(chuàng)新變革有著很好的方向指引意義。

參考文獻(xiàn)：

[1]馬彥圖.云計(jì)算技術(shù)在農(nóng)業(yè)信息共享服務(wù)平臺中的應(yīng)用[J].西安工程大學(xué)學(xué)報(bào),2016(4):494-497

[2]賀曉鋒.基于Teradata的銀行數(shù)據(jù)倉庫模型研究與優(yōu)化[D].軟件工程,2008.

作者:徐天譽(yù) 單位:南京證券股份有限公司