(三)基于數(shù)據(jù)架構(gòu)構(gòu)建行業(yè)架構(gòu)復(fù)用能力
完整的IT架構(gòu)是由應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)和技術(shù)架構(gòu)共同構(gòu)成的,數(shù)據(jù)架構(gòu)作為應(yīng)用架構(gòu)和技術(shù)架構(gòu)的承接層,能夠完整表達(dá)應(yīng)用架構(gòu)需求和支撐技術(shù)架構(gòu)的實(shí)現(xiàn)。數(shù)據(jù)架構(gòu)主要在數(shù)據(jù)的映射、訪(fǎng)問(wèn)、分布和存儲(chǔ)等方面給出通用的參考架構(gòu)。數(shù)據(jù)映射主要是完成數(shù)據(jù)在不同語(yǔ)言編碼下的轉(zhuǎn)換和關(guān)聯(lián),通過(guò)制定統(tǒng)一的映射規(guī)則和代碼,實(shí)現(xiàn)數(shù)據(jù)在數(shù)據(jù)庫(kù)存儲(chǔ)、文件存儲(chǔ)、內(nèi)存存儲(chǔ)、內(nèi)外部接口和界面展示不同環(huán)節(jié)的有效橋接,從而實(shí)現(xiàn)數(shù)據(jù)的可跟蹤、可關(guān)聯(lián)。數(shù)據(jù)訪(fǎng)問(wèn)主要是完成數(shù)據(jù)如何被訪(fǎng)問(wèn)使用,通過(guò)技術(shù)封裝的方式,實(shí)現(xiàn)數(shù)據(jù)在內(nèi)存和數(shù)據(jù)庫(kù)內(nèi)的增、刪、改、查等操作。數(shù)據(jù)分布主要是完成數(shù)據(jù)對(duì)象及關(guān)系在各系統(tǒng)的CRUD狀態(tài),結(jié)合業(yè)務(wù)流程、交換信息分析及各應(yīng)用系統(tǒng)接口規(guī)范,規(guī)劃數(shù)據(jù)流向。數(shù)據(jù)存儲(chǔ)主要是完成數(shù)據(jù)持久化,實(shí)現(xiàn)數(shù)據(jù)可被存儲(chǔ)、復(fù)制和恢復(fù)。
銀行間市場(chǎng)信息系統(tǒng)的建設(shè),離不開(kāi)軟件工廠(chǎng)模式下的專(zhuān)業(yè)化分工和規(guī)模化生產(chǎn),在此過(guò)程中架構(gòu)的復(fù)用性是關(guān)鍵。通過(guò)使用基礎(chǔ)的IT技術(shù),構(gòu)建統(tǒng)一的模型、規(guī)范、標(biāo)準(zhǔn)和工具方法,為行業(yè)提供可復(fù)用的數(shù)據(jù)要素,是數(shù)據(jù)架構(gòu)構(gòu)建的核心。因此,我們?cè)谛袠I(yè)領(lǐng)域規(guī)劃的基礎(chǔ)上,以服務(wù)封裝的方式開(kāi)發(fā)了諸如數(shù)據(jù)存儲(chǔ)構(gòu)件(關(guān)系、分布式和NOSQL)、數(shù)據(jù)緩存構(gòu)件、數(shù)據(jù)計(jì)算框架(實(shí)時(shí)、流式、批量和分布式)等一系列可復(fù)用的數(shù)據(jù)框架、構(gòu)件、模板、工具等數(shù)據(jù)資產(chǎn),構(gòu)建了豐富數(shù)據(jù)架構(gòu)資產(chǎn)庫(kù)。通過(guò)提供數(shù)據(jù)構(gòu)件和IDE開(kāi)發(fā)平臺(tái)的方式,實(shí)現(xiàn)系統(tǒng)化復(fù)用和規(guī)模化開(kāi)發(fā)的能力,提升行業(yè)效率。同時(shí),探索制定面向分布式和微服務(wù)架構(gòu)下的松耦合的數(shù)據(jù)架構(gòu),支持行業(yè)IT架構(gòu)轉(zhuǎn)型。
(四)圍繞“兩個(gè)生命周期”構(gòu)建行業(yè)過(guò)程管控能力
數(shù)據(jù)過(guò)程管控包括數(shù)據(jù)定義和數(shù)據(jù)使用兩個(gè)過(guò)程。數(shù)據(jù)定義過(guò)程面向于信息系統(tǒng)開(kāi)發(fā)階段,主要包括數(shù)據(jù)的“定義、使用、變更、流轉(zhuǎn)和退役”五個(gè)環(huán)節(jié);數(shù)據(jù)使用過(guò)程面向于信息系統(tǒng)的運(yùn)營(yíng)階段,主要包括數(shù)據(jù)的“產(chǎn)生、加工、流轉(zhuǎn)、使用和歸檔”五個(gè)環(huán)節(jié)。
因此,數(shù)據(jù)的生命周期包含了數(shù)據(jù)定義生命周期和數(shù)據(jù)使用生命周期兩個(gè)部分。數(shù)據(jù)定義生命周期主要關(guān)注于數(shù)據(jù)在軟件開(kāi)發(fā)過(guò)程中的需求、設(shè)計(jì)、開(kāi)發(fā)、測(cè)試和支持各階段的狀態(tài)變化,通過(guò)變化不斷制定和修正數(shù)據(jù)定義,使得數(shù)據(jù)能夠更好地滿(mǎn)足業(yè)務(wù)和技術(shù)需要。數(shù)據(jù)使用生命周期主要關(guān)注與數(shù)據(jù)在運(yùn)營(yíng)階段的狀態(tài)變化,根據(jù)數(shù)據(jù)訪(fǎng)問(wèn)頻度與數(shù)據(jù)量的變化會(huì)隨著時(shí)間的遷移而成反比例變化這個(gè)數(shù)據(jù)周期的基本原理,制定合理的數(shù)據(jù)在線(xiàn)、近線(xiàn)、離線(xiàn)和歸檔策略,實(shí)現(xiàn)數(shù)據(jù)的價(jià)值與數(shù)據(jù)存儲(chǔ)的技術(shù)和管理相匹配,降低數(shù)據(jù)存儲(chǔ)成本,減少數(shù)據(jù)容易,優(yōu)化數(shù)據(jù)利用。
銀行間市場(chǎng)信息系統(tǒng)的開(kāi)發(fā)和運(yùn)營(yíng)過(guò)程,是在數(shù)據(jù)兩個(gè)生命周期管理下的不斷優(yōu)化和升級(jí)的過(guò)程。基于數(shù)據(jù)標(biāo)準(zhǔn)所建立起來(lái)的數(shù)據(jù)關(guān)聯(lián)網(wǎng)絡(luò),支持了信息系統(tǒng)開(kāi)發(fā)過(guò)程中對(duì)于數(shù)據(jù)定義變化過(guò)程所需的變更要求和過(guò)程控制。基于數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)所建立起來(lái)的數(shù)據(jù)分層存儲(chǔ),支持了信息系統(tǒng)運(yùn)營(yíng)過(guò)程中所需的時(shí)效要求和數(shù)據(jù)管理。隨著行業(yè)業(yè)務(wù)的不斷創(chuàng)新發(fā)展,作為承載和表達(dá)業(yè)務(wù)的數(shù)據(jù)也在不斷被重新定義,數(shù)據(jù)也在創(chuàng)新和變化中源源不斷地產(chǎn)生,變是永恒的主題,而基于兩個(gè)數(shù)據(jù)生命周期的管理實(shí)現(xiàn)了這種變化的可控性。
(五)基于數(shù)據(jù)質(zhì)量管理構(gòu)建行業(yè)數(shù)據(jù)評(píng)估能力
數(shù)據(jù)質(zhì)量管理是指對(duì)數(shù)據(jù)生命周期每個(gè)階段可能引發(fā)的各類(lèi)數(shù)據(jù)質(zhì)量問(wèn)題采取的一系列管理活動(dòng)。通過(guò)不斷地修正和優(yōu)化來(lái)改進(jìn)數(shù)據(jù)質(zhì)量,繼而來(lái)改進(jìn)行業(yè)對(duì)數(shù)據(jù)的運(yùn)用能力,并對(duì)行業(yè)自身的運(yùn)轉(zhuǎn)和經(jīng)營(yíng)產(chǎn)生積極的影響。引發(fā)數(shù)據(jù)質(zhì)量問(wèn)題的因素很多,可主要?dú)w結(jié)于技術(shù)、信息、流程和管理四個(gè)方面。
但如果回歸到數(shù)據(jù)本身的產(chǎn)生機(jī)制來(lái)看,數(shù)據(jù)質(zhì)量的問(wèn)題其實(shí)就是結(jié)構(gòu)(Structure)和用戶(hù)(User)的問(wèn)題。數(shù)據(jù)標(biāo)準(zhǔn)和主數(shù)據(jù)的定義管理,很大程度上解決了數(shù)據(jù)結(jié)構(gòu)的問(wèn)題,使得數(shù)據(jù)能夠在類(lèi)型、編碼、格式上保持一致性和精準(zhǔn)性。但用戶(hù)操作的問(wèn)題,只能通過(guò)操作流程和技術(shù)校驗(yàn)進(jìn)行規(guī)約。因此,我們認(rèn)為在行業(yè)標(biāo)準(zhǔn)化體系實(shí)施下,引發(fā)數(shù)據(jù)質(zhì)量的問(wèn)題還主要在于用戶(hù)操作方面。而這個(gè)問(wèn)題是主觀(guān)的、隨性的,沒(méi)有強(qiáng)制的、通用的技術(shù)解決方案,只能通過(guò)完整的數(shù)據(jù)質(zhì)量評(píng)估體系的建立來(lái)進(jìn)行保障。
完整的數(shù)據(jù)質(zhì)量評(píng)估體系的建立,能夠從宏觀(guān)治理層面和微觀(guān)數(shù)據(jù)層面來(lái)對(duì)數(shù)據(jù)進(jìn)行全面的評(píng)估。通過(guò)評(píng)估結(jié)果,可以發(fā)現(xiàn)問(wèn)題來(lái)源并找到其根本原因,并在數(shù)據(jù)治理層面制定通用的解決方案,使得數(shù)據(jù)治理的過(guò)程和方法不斷優(yōu)化和完善,實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的良性循環(huán)。數(shù)據(jù)質(zhì)量評(píng)估體系的評(píng)估標(biāo)準(zhǔn)包括準(zhǔn)確性、完整性、一致性、可信性、時(shí)效性、易訪(fǎng)問(wèn)性、依從性、保密性、效率性、精準(zhǔn)性、可追溯性、易理解性、可用性、可移植性、易恢復(fù)性等15個(gè)方面。這15個(gè)方面的評(píng)估標(biāo)準(zhǔn),完整地覆蓋了兩個(gè)數(shù)據(jù)生命周期的各個(gè)方面,是行業(yè)不斷評(píng)估和優(yōu)化數(shù)據(jù)管理的基準(zhǔn)性指標(biāo)。
(六)基于大數(shù)據(jù)技術(shù)構(gòu)建行業(yè)數(shù)據(jù)集成分析能力
區(qū)別于傳統(tǒng)的基于結(jié)構(gòu)化和關(guān)系型數(shù)據(jù)存儲(chǔ)分析和挖掘技術(shù),大數(shù)據(jù)技術(shù)的現(xiàn)實(shí)意義是從海量數(shù)據(jù)中獲得經(jīng)驗(yàn),對(duì)事物的發(fā)展規(guī)律和趨勢(shì)做出精準(zhǔn)判斷,“超大容量”和“超強(qiáng)計(jì)算能力”是大數(shù)據(jù)技術(shù)的基本特征。大數(shù)據(jù)技術(shù)是發(fā)現(xiàn)新風(fēng)險(xiǎn)、挖掘新規(guī)律、創(chuàng)造新價(jià)值的主要科技手段,它的興起為分析復(fù)雜的金融系統(tǒng)提供了全新的方法,其拓展了數(shù)據(jù)分析的抽樣方式和范圍,通過(guò)揭示相關(guān)關(guān)系來(lái)刻畫(huà)世界萬(wàn)物之間的復(fù)雜聯(lián)系。此外,大數(shù)據(jù)關(guān)鍵作用之一是減少信息不對(duì)稱(chēng),發(fā)現(xiàn)市場(chǎng)主體的行為規(guī)律,甚至預(yù)測(cè)其經(jīng)濟(jì)行為。大數(shù)據(jù)能夠從根本上解決傳統(tǒng)金融所面臨的信息不對(duì)稱(chēng),關(guān)聯(lián)關(guān)系不透明的問(wèn)題。
交易中心作為銀行間市場(chǎng)的組織者,除為銀行間市場(chǎng)提供交易、信息等服務(wù)外,還承擔(dān)著市場(chǎng)監(jiān)管的職能。經(jīng)過(guò)20多年的快速發(fā)展,銀行間市場(chǎng)已經(jīng)積累了大量的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),基于大數(shù)據(jù)技術(shù)構(gòu)建行業(yè)數(shù)據(jù)集成分析能力,可實(shí)現(xiàn)行業(yè)數(shù)據(jù)的融合利用,不斷挖掘信息價(jià)值,推動(dòng)產(chǎn)品創(chuàng)新。同時(shí),基于大數(shù)據(jù)技術(shù)的監(jiān)管科技不斷增強(qiáng)預(yù)見(jiàn)性、實(shí)時(shí)性、持續(xù)性和協(xié)同性風(fēng)險(xiǎn)管控能力,最終可有效提升行業(yè)監(jiān)管的專(zhuān)業(yè)性、統(tǒng)一性和穿透性。
銀行間市場(chǎng)數(shù)據(jù)治理平臺(tái)
“治理(Governance)”一詞從國(guó)家治理、公司治理引入到數(shù)據(jù)治理,其核心概念是指“各種公共的或私人的個(gè)人和機(jī)構(gòu)管理其共同事務(wù)的諸多方法的總和,是使相互沖突的或不同利益得以調(diào)和,并采取聯(lián)合行動(dòng)的持續(xù)過(guò)程(聯(lián)合國(guó)全球治理委員會(huì))”。從這個(gè)意義來(lái)說(shuō),數(shù)據(jù)治理是一個(gè)長(zhǎng)期、復(fù)雜的系統(tǒng)工程,涉及到組織、制度、人員、培訓(xùn)、管理等各個(gè)方面。數(shù)據(jù)治理過(guò)程是一個(gè)強(qiáng)管控的過(guò)程,數(shù)據(jù)治理工作的開(kāi)展離不開(kāi)組織的支持、制度的保障、人員的參與、體系化的培訓(xùn)和精細(xì)化的管理。因此,建立一套長(zhǎng)效的數(shù)據(jù)治理機(jī)制,是確保數(shù)據(jù)治理能夠真正實(shí)施落地的重要保障。
長(zhǎng)效的數(shù)據(jù)治理機(jī)制離不開(kāi)強(qiáng)制的管控,強(qiáng)制的管控并不是簡(jiǎn)單的靠制度和規(guī)矩來(lái)進(jìn)行約束,而是通過(guò)技術(shù)手段確保所有人遵從。銀行間市場(chǎng)數(shù)據(jù)治理實(shí)施的核心理念就是通過(guò)標(biāo)準(zhǔn)和流程的平臺(tái)化集成,來(lái)實(shí)現(xiàn)數(shù)據(jù)使用的流程化和自動(dòng)化。數(shù)據(jù)平臺(tái)(CFETSData)是我們數(shù)據(jù)治理平臺(tái)化建設(shè)的最重要成果,銀行間市場(chǎng)信息系統(tǒng)數(shù)據(jù)設(shè)計(jì)開(kāi)發(fā)的所有工作全部基于CFETSData來(lái)完成。
CFETSData的主要功能包括:標(biāo)準(zhǔn)管理、過(guò)程管控和集成開(kāi)發(fā)。在標(biāo)準(zhǔn)管理上,CFETSData定義和管理了數(shù)據(jù)元、行業(yè)數(shù)據(jù)模型和數(shù)據(jù)交換服務(wù)。業(yè)務(wù)人員根據(jù)CFETSData來(lái)制定業(yè)務(wù)方案,根據(jù)數(shù)據(jù)元定義統(tǒng)一業(yè)務(wù)術(shù)語(yǔ)定義。需求分析人員基于CFETSData編寫(xiě)需求規(guī)格說(shuō)明書(shū),制定界面展示、數(shù)據(jù)模型和數(shù)據(jù)接口需求。設(shè)計(jì)人員基于CFETSData編寫(xiě)概要設(shè)計(jì)和詳細(xì)設(shè)計(jì)說(shuō)明書(shū),進(jìn)行數(shù)據(jù)結(jié)構(gòu)體、數(shù)據(jù)庫(kù)和數(shù)據(jù)腳本的設(shè)計(jì)。測(cè)試人員根據(jù)CFETSData設(shè)計(jì)測(cè)試用例和數(shù)據(jù)腳本。在過(guò)程管控上,CFETSData實(shí)現(xiàn)了數(shù)據(jù)定義、數(shù)據(jù)模型和數(shù)據(jù)腳本的工作流程,不同角色的人根據(jù)該平臺(tái)完成各自的定義、審核和審計(jì)任務(wù),實(shí)現(xiàn)了過(guò)程的平臺(tái)化。在集成開(kāi)發(fā)上,CFETSData提供了拖拽式的數(shù)據(jù)模型開(kāi)發(fā)和接口開(kāi)發(fā)的功能,開(kāi)發(fā)人員只需要根據(jù)實(shí)體和屬性的中文名字選取自己所需的數(shù)據(jù)并完成面向應(yīng)用的組裝并生成數(shù)據(jù)字典和消息結(jié)構(gòu)體,實(shí)體和屬性的技術(shù)規(guī)格會(huì)統(tǒng)一生成并不可被篡改。同時(shí),CFETSData還通過(guò)API接口的方式實(shí)現(xiàn)了與數(shù)據(jù)交換平臺(tái)、應(yīng)用開(kāi)發(fā)平臺(tái)和數(shù)據(jù)測(cè)試平臺(tái)的對(duì)接,實(shí)現(xiàn)了對(duì)接口代碼、程序結(jié)構(gòu)體和測(cè)試腳本的規(guī)約。
數(shù)據(jù)治理工作展望
大數(shù)據(jù)技術(shù)起源于互聯(lián)網(wǎng)行業(yè),目前最成功的應(yīng)用也在互聯(lián)網(wǎng)行業(yè),以“BAT”為代表的互聯(lián)網(wǎng)公司依靠其自身的經(jīng)濟(jì)實(shí)力和技術(shù)基礎(chǔ),依托自身?yè)碛械木蘖繑?shù)據(jù)和現(xiàn)實(shí)的應(yīng)用需求,已經(jīng)發(fā)展出一些滿(mǎn)足各自需求的大數(shù)據(jù)解決方案。
金融行業(yè)有著良好的大數(shù)據(jù)基礎(chǔ),但大數(shù)據(jù)應(yīng)用還剛剛起步,如何推進(jìn)大數(shù)據(jù)技術(shù)應(yīng)用,喚醒這些沉睡的大數(shù)據(jù)資源實(shí)現(xiàn)深度價(jià)值發(fā)現(xiàn)和行業(yè)應(yīng)用,關(guān)鍵還是要深入推進(jìn)銀行間市場(chǎng)數(shù)據(jù)治理工作。針對(duì)未來(lái)的數(shù)據(jù)治理工作,我們規(guī)劃從三個(gè)方面考慮:
一是完善行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系,助力基礎(chǔ)設(shè)施升級(jí)。為全面規(guī)劃和指導(dǎo)銀行間市場(chǎng)標(biāo)準(zhǔn)化工作,我們將在前期工作的基礎(chǔ)上,繼續(xù)完善銀行間市場(chǎng)標(biāo)準(zhǔn)體系的建立和應(yīng)用,建立行業(yè)大數(shù)據(jù)治理相關(guān)標(biāo)準(zhǔn)、信息披露標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn),實(shí)現(xiàn)數(shù)據(jù)的有效整合、綜合利用,最大程度地發(fā)揮行業(yè)數(shù)據(jù)價(jià)值,規(guī)范大數(shù)據(jù)應(yīng)用,消除由于標(biāo)準(zhǔn)缺失可能造成的技術(shù)發(fā)展瓶頸,助力行業(yè)基礎(chǔ)設(shè)施升級(jí),更好地支持金融科技和監(jiān)管科技的發(fā)展。
二是深化行業(yè)主數(shù)據(jù)體系建設(shè),夯實(shí)行業(yè)基礎(chǔ)支撐。進(jìn)一步深化行業(yè)主數(shù)據(jù)建設(shè),統(tǒng)一行業(yè)數(shù)據(jù)格式和編碼,建立和完善面向整個(gè)行業(yè)共享復(fù)用的產(chǎn)品管理、機(jī)構(gòu)管理和用戶(hù)管理的主數(shù)據(jù)庫(kù),提供通用的數(shù)據(jù)訪(fǎng)問(wèn)接口、交換平臺(tái)和協(xié)議規(guī)范,實(shí)現(xiàn)行業(yè)數(shù)據(jù)接口的互聯(lián)、互通。同時(shí)輔以可供復(fù)用和參考的框架、構(gòu)件、模板、工具等構(gòu)件資產(chǎn)庫(kù),以強(qiáng)管控的方式指導(dǎo)和規(guī)范數(shù)據(jù)使用,從數(shù)據(jù)源頭確保數(shù)據(jù)生成的質(zhì)量,實(shí)現(xiàn)行業(yè)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的共享、共用。
三是建立行業(yè)大數(shù)據(jù)集成平臺(tái),促進(jìn)行業(yè)業(yè)務(wù)協(xié)同。通過(guò)行業(yè)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)標(biāo)準(zhǔn)建立,探索建立行業(yè)大數(shù)據(jù)集成平臺(tái),通過(guò)數(shù)據(jù)的分層管理,實(shí)現(xiàn)數(shù)據(jù)的融合利用。構(gòu)建面向大數(shù)據(jù)價(jià)值挖掘的大規(guī)模、有序化開(kāi)放式的知識(shí)體系,通過(guò)大數(shù)據(jù)集、開(kāi)發(fā)平臺(tái)和公用算法庫(kù)支撐行業(yè)大數(shù)據(jù)應(yīng)用,為行業(yè)大數(shù)據(jù)發(fā)展提供基礎(chǔ)構(gòu)件支撐。加強(qiáng)行業(yè)標(biāo)準(zhǔn)宣貫,提高行業(yè)參與人員的大數(shù)據(jù)應(yīng)用能力,促進(jìn)行業(yè)業(yè)務(wù)協(xié)同。
(本文第一作者系中國(guó)外匯交易中心副總裁;第二作者系中匯信息技術(shù)有限公司總經(jīng)理助理)