智慧校園數(shù)據(jù)集成共享平臺(tái)探討
時(shí)間:2022-08-17 08:50:24
導(dǎo)語(yǔ):智慧校園數(shù)據(jù)集成共享平臺(tái)探討一文來(lái)源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。
摘要:為了解決高校各業(yè)務(wù)系統(tǒng)在信息化建設(shè)過(guò)程中,由于建設(shè)時(shí)間和空間上的差異,出現(xiàn)的“信息孤島”現(xiàn)象和數(shù)據(jù)離散、異構(gòu)等問(wèn)題,提出一種基于ODI的智慧校園數(shù)據(jù)集成共享平臺(tái)。平臺(tái)通過(guò)利用Oracle的ETL工具ODI,對(duì)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行集成,并將集成后的數(shù)據(jù)共享給統(tǒng)一身份認(rèn)證平臺(tái)以及網(wǎng)上辦事大廳和校園移動(dòng)App中的各種應(yīng)用與服務(wù)。通過(guò)平臺(tái)的構(gòu)建和應(yīng)用表明,業(yè)務(wù)系統(tǒng)的主要數(shù)據(jù)得到了治理和標(biāo)準(zhǔn)化,數(shù)據(jù)的交換和共享率也得到了很多大提升。
關(guān)鍵詞:智慧校園;數(shù)據(jù)集成;數(shù)據(jù)共享;統(tǒng)一身份認(rèn)證;網(wǎng)上辦事大廳;ODI
1背景
高校信息化建設(shè)隨著云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)、智能感知等新興信息技術(shù)的不斷發(fā)展已經(jīng)步入智慧校園建設(shè)階段,而高校在信息化發(fā)展的過(guò)程中,由于缺乏有效合理的規(guī)劃和協(xié)調(diào),各業(yè)務(wù)部門根據(jù)自己的需求建設(shè)了眾多業(yè)務(wù)系統(tǒng),出現(xiàn)了“信息孤島”現(xiàn)象,形成了數(shù)據(jù)類型和數(shù)據(jù)訪問(wèn)方式多樣,數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一等問(wèn)題,并且隨著時(shí)間的發(fā)展累積了大量的業(yè)務(wù)和數(shù)據(jù)資源,冗余數(shù)據(jù)和垃圾數(shù)據(jù)都普遍存在于業(yè)務(wù)系統(tǒng)中[1-4]。這些問(wèn)題嚴(yán)重阻礙了智慧校園建設(shè)的進(jìn)程,導(dǎo)致在數(shù)據(jù)層面,數(shù)據(jù)私有化,數(shù)據(jù)流動(dòng)性不強(qiáng),數(shù)據(jù)質(zhì)量不高,各業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)無(wú)法交換、共享,無(wú)法發(fā)揮大數(shù)據(jù)的作用;業(yè)務(wù)層面,校內(nèi)業(yè)務(wù)系統(tǒng)相互隔離,各應(yīng)用之間的融合度不高[4-5],師生辦理業(yè)務(wù)跑路多、不方便。為了解決上述問(wèn)題,數(shù)據(jù)的集成和共享勢(shì)在必行,數(shù)據(jù)集成是把不同來(lái)源、格式、特點(diǎn)、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中,從而為用戶提供全面的數(shù)據(jù)共享,數(shù)據(jù)只有通過(guò)共享,才能保證數(shù)據(jù)的一致,減少冗余,提高利用率[6],實(shí)現(xiàn)數(shù)據(jù)的流動(dòng)和業(yè)務(wù)的融合。本文提出一種基于ODI(OracleDataInte⁃grator)的智慧校園數(shù)據(jù)集成共享平臺(tái),利用Oracle的ETL(Ex⁃tract-Transform-Load)工具ODI對(duì)各業(yè)務(wù)系統(tǒng)產(chǎn)生的源數(shù)據(jù)進(jìn)行抽取、清洗和轉(zhuǎn)換后,將數(shù)據(jù)共享給統(tǒng)一身份認(rèn)證平臺(tái)以及網(wǎng)上辦事大廳和校園移動(dòng)App中的各業(yè)務(wù)系統(tǒng)、表單流程和服務(wù),實(shí)現(xiàn)數(shù)據(jù)的交換、共享和流動(dòng);師生通過(guò)統(tǒng)一身份認(rèn)證訪問(wèn)網(wǎng)上辦事大廳和校園移動(dòng)App中的各種業(yè)務(wù)和服務(wù),實(shí)現(xiàn)單點(diǎn)登錄和業(yè)務(wù)的融合。
2智慧校園數(shù)據(jù)集成共享平臺(tái)架構(gòu)
針對(duì)智慧校園建設(shè)充分整合信息資源和應(yīng)用資源的需求,本文提出的智慧校園數(shù)據(jù)集成共享平臺(tái)主要包括數(shù)據(jù)源層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)與管理層和數(shù)據(jù)應(yīng)用與服務(wù)層,如圖1所示。數(shù)據(jù)源層,主要是作為數(shù)據(jù)源的各業(yè)務(wù)系統(tǒng)的數(shù)據(jù),包括結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),利用ETL工具抽取到數(shù)據(jù)處理層。數(shù)據(jù)處理層根據(jù)國(guó)家規(guī)范標(biāo)準(zhǔn)和學(xué)校標(biāo)準(zhǔn),對(duì)抽取過(guò)來(lái)的源數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換后,存儲(chǔ)到數(shù)據(jù)中心。數(shù)據(jù)存儲(chǔ)與管理層主要是對(duì)數(shù)據(jù)的存儲(chǔ)和管理。其中,元數(shù)據(jù)管理的目的是在建立元數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)上,統(tǒng)一進(jìn)行數(shù)據(jù)抽取、清洗和轉(zhuǎn)換,以實(shí)現(xiàn)對(duì)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整合[3]。主數(shù)據(jù)是全校范圍統(tǒng)一標(biāo)準(zhǔn)和規(guī)范的數(shù)據(jù),以解決異構(gòu)系統(tǒng)之間關(guān)鍵數(shù)據(jù)的不一致、不正確、不完整等問(wèn)題。數(shù)據(jù)中心則以數(shù)據(jù)庫(kù)的形式存儲(chǔ)集成后的數(shù)據(jù),主要用于各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)共享、綜合查詢以及數(shù)據(jù)分析與挖掘等。數(shù)據(jù)應(yīng)用與服務(wù)層是應(yīng)用和服務(wù)集中展示層,網(wǎng)上辦事大廳和校園移動(dòng)App將各種應(yīng)用、工作流流程、綜合化查詢、表單制作和服務(wù)集成到同一平臺(tái),并作為進(jìn)入應(yīng)用和服務(wù)的唯一門戶。師生通過(guò)統(tǒng)一身份認(rèn)證平臺(tái)對(duì)身份的合法認(rèn)證之后進(jìn)入網(wǎng)上辦事大廳和校園移動(dòng)App,便可在該平臺(tái)根據(jù)角色的不同快速找到符合角色的服務(wù)。
3基于ODI的數(shù)據(jù)集成和共享
智慧校園數(shù)據(jù)集成共享平臺(tái)首要面臨異構(gòu)數(shù)據(jù)的集成問(wèn)題,平臺(tái)選用Oracle的ETL工具ODI,目前已經(jīng)有很多高校在智慧校園建設(shè)過(guò)程中采用ODI作為數(shù)據(jù)集成的工具。ODI是基于元數(shù)據(jù)管理的,支持異構(gòu)數(shù)據(jù)庫(kù)之間以批量、實(shí)時(shí)、同步、異步方式實(shí)現(xiàn)平臺(tái)間數(shù)據(jù)的移動(dòng)和轉(zhuǎn)換[2],ODI之所以能適應(yīng)很多不同的數(shù)據(jù)源,靈活、高效和可擴(kuò)展的完成數(shù)據(jù)抽取、轉(zhuǎn)換和裝載過(guò)程,是基于其知識(shí)模塊(KM,KnowledgeMudules)體系[7],用戶不僅可以直接使用現(xiàn)有的知識(shí)模塊完成數(shù)據(jù)的獲取工作,也可以在知識(shí)模塊上做各種定制,也可以完全自己開發(fā)這些知識(shí)模塊。ODI知識(shí)模塊包括六大類,如表1所示。學(xué)校各業(yè)務(wù)系統(tǒng)以虛擬視圖的方式提供數(shù)據(jù),提供的是經(jīng)過(guò)篩選的虛擬視圖,是主數(shù)據(jù)平臺(tái)需要的數(shù)據(jù)字段集合。ODI利用知識(shí)模塊抽取篩選出來(lái)字段所對(duì)應(yīng)的全部數(shù)據(jù),并對(duì)這些數(shù)據(jù)按照事先設(shè)定好的數(shù)據(jù)清洗與轉(zhuǎn)換規(guī)則對(duì)抽取的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換[8]。數(shù)據(jù)清洗是個(gè)反復(fù)的過(guò)程,是對(duì)數(shù)據(jù)進(jìn)行審查和校驗(yàn),過(guò)濾不合規(guī)數(shù)據(jù)、刪除重復(fù)數(shù)據(jù)、糾正錯(cuò)誤數(shù)據(jù)、完成格式轉(zhuǎn)換,并進(jìn)行清洗前后的數(shù)據(jù)一致性檢查,保證清洗結(jié)果集的質(zhì)量,最終形成統(tǒng)一格式的標(biāo)準(zhǔn)數(shù)據(jù),存儲(chǔ)到數(shù)據(jù)中心,完成數(shù)據(jù)的集成。數(shù)據(jù)中心再以中間表的形式將業(yè)務(wù)系統(tǒng)需要的數(shù)據(jù)下發(fā)至中間表,各業(yè)務(wù)系統(tǒng)通過(guò)接口對(duì)中間表進(jìn)行數(shù)據(jù)的讀取,完成數(shù)據(jù)的共享。在數(shù)據(jù)集成與共享過(guò)程中,業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)并沒(méi)有與數(shù)據(jù)中心發(fā)生直接的數(shù)據(jù)交互,從而保護(hù)了底層源數(shù)據(jù),使整個(gè)數(shù)據(jù)集成共享平臺(tái)處于低耦合、易擴(kuò)展、易維護(hù)的狀態(tài)[2,7,9]。數(shù)據(jù)集成和共享數(shù)據(jù)流向圖,如圖2所示。
4智慧校園數(shù)據(jù)集成共享平臺(tái)實(shí)現(xiàn)
4.1云計(jì)算與虛擬化
云計(jì)算和虛擬化是智慧校園建設(shè)過(guò)程中的關(guān)鍵技術(shù),云計(jì)算平臺(tái)是一種動(dòng)態(tài)擴(kuò)展的計(jì)算模式,通過(guò)網(wǎng)絡(luò)將虛擬化的資源作為服務(wù)提供,用戶可以隨時(shí)、隨地、按需的訪問(wèn)共享資源池[10],而虛擬化技術(shù)是將云計(jì)算平臺(tái)的基礎(chǔ)設(shè)施和各類物理資源(如CPU、內(nèi)存、網(wǎng)絡(luò)等)動(dòng)態(tài)地匯聚起來(lái),形成多租戶共享的資源池,這些資源以網(wǎng)絡(luò)服務(wù)的方式按需提供給用戶[11]。數(shù)據(jù)集成共享平臺(tái)的ODI服務(wù)器和主數(shù)據(jù)管理平臺(tái),以虛擬化的方式部署在云計(jì)算平臺(tái)上,由云計(jì)算平臺(tái)集中管理,實(shí)現(xiàn)系統(tǒng)的動(dòng)態(tài)可伸縮性、高可用性、負(fù)載均衡,并提高資源的利用率,配置信息如表2所示。
4.2數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)中心存儲(chǔ)全校統(tǒng)一規(guī)范的標(biāo)準(zhǔn)數(shù)據(jù),又是各業(yè)務(wù)系統(tǒng)和服務(wù)需要的基礎(chǔ)數(shù)據(jù)和主題數(shù)據(jù)的來(lái)源,具有重要的現(xiàn)實(shí)意義,所以采用物理服務(wù)器+OracleRAC(OracleRealApplicationCluster)集群數(shù)據(jù)庫(kù)+共享存儲(chǔ)的方案,在兩臺(tái)物理服務(wù)器上分別安裝Oraclelinux6.9和Oracle12cRAC,并掛載共享存儲(chǔ),獨(dú)立的物理服務(wù)器在數(shù)據(jù)安全性方面具有明顯優(yōu)勢(shì),數(shù)據(jù)丟失風(fēng)險(xiǎn)較小,并將數(shù)據(jù)備份放置在兩臺(tái)物理服務(wù)器上,實(shí)現(xiàn)雙機(jī)熱備。集群根據(jù)設(shè)定的調(diào)整策略,實(shí)現(xiàn)負(fù)載均衡,兩個(gè)集群節(jié)點(diǎn)都能夠訪問(wèn)共享存儲(chǔ)讀寫數(shù)據(jù),當(dāng)集群中某個(gè)節(jié)點(diǎn)出現(xiàn)故障,業(yè)務(wù)自動(dòng)切換到正常節(jié)點(diǎn)上,保證業(yè)務(wù)對(duì)外服務(wù)不間斷,也可以根據(jù)業(yè)務(wù)繁忙程度,隨時(shí)添加和刪除集群節(jié)點(diǎn)。
4.3平臺(tái)應(yīng)用
基于ODI的智慧校園數(shù)據(jù)集成共享平臺(tái)已經(jīng)上線將近兩年的時(shí)間,主要業(yè)務(wù)系統(tǒng)數(shù)據(jù)得到了治理和標(biāo)準(zhǔn)化,數(shù)據(jù)質(zhì)量得到了很大的提升,具體集成情況如圖3和表3所示。集成后形成基礎(chǔ)數(shù)據(jù)和主題業(yè)務(wù)數(shù)據(jù),通過(guò)網(wǎng)上辦事大廳和校園移動(dòng)App中90多個(gè)業(yè)務(wù)和服務(wù)的應(yīng)用,得到了有效的交流和共享,圖4顯示了網(wǎng)上辦事大廳和移動(dòng)App中集成的所有業(yè)務(wù)數(shù)量。師生基礎(chǔ)數(shù)據(jù)與統(tǒng)一身份認(rèn)證平臺(tái),以及接入網(wǎng)上辦事大廳和校園移動(dòng)App中的各業(yè)務(wù)系統(tǒng)的對(duì)接,解決了“信息孤島”現(xiàn)象,并實(shí)現(xiàn)了用戶的單點(diǎn)登錄,用戶通過(guò)統(tǒng)一身份認(rèn)證之后,無(wú)需再次登錄就可以進(jìn)入已接入的第三方系統(tǒng)。師生在網(wǎng)上辦事大廳和校園移動(dòng)App中可以查詢各種相關(guān)主題化數(shù)據(jù),比如學(xué)生成績(jī)、課表、繳費(fèi)數(shù)據(jù)、科研數(shù)據(jù)等等。師生在線上填寫各種業(yè)務(wù)相關(guān)表單流程,無(wú)需往返多個(gè)部門線下辦理,線上全程跟蹤業(yè)務(wù)辦理進(jìn)度,線上提醒和催辦相關(guān)人員盡快辦理業(yè)務(wù),電腦端和移動(dòng)端均可操作、辦理,給全校師生工作、學(xué)習(xí)、生活提供來(lái)了極大的便利,同時(shí)整合了校內(nèi)事務(wù)、簡(jiǎn)化、優(yōu)化了事務(wù)審批流程。
5結(jié)束語(yǔ)
本文提出的基于ODI的智慧校園數(shù)據(jù)集成共享平臺(tái),通過(guò)實(shí)踐已初見成效,主要數(shù)據(jù)集成后進(jìn)行了有效交換、共享,業(yè)務(wù)實(shí)現(xiàn)了一定程度的融合,同時(shí)與統(tǒng)一身份認(rèn)證平臺(tái)相結(jié)合,在網(wǎng)上辦事大廳為全校師生提供了各種智慧服務(wù)。但是智慧校園建設(shè)是一項(xiàng)長(zhǎng)期復(fù)雜的工程,智慧校園的“智慧”要更加深入的實(shí)現(xiàn),數(shù)據(jù)的持續(xù)治理、數(shù)據(jù)質(zhì)量進(jìn)一步的提升、集成更加豐富的數(shù)據(jù)以及挖掘更多的數(shù)據(jù)價(jià)值,都將是未來(lái)數(shù)據(jù)集成共享平臺(tái)持續(xù)建設(shè)的核心任務(wù)。
參考文獻(xiàn):
[1]劉寶妹,陳美玲,白興瑞.智慧校園共享數(shù)據(jù)中心建設(shè)研究[J].中國(guó)教育信息化,2020(7):70-73.
[2]蒲芳,劉琳瑯,徐萍,等.數(shù)字化校園中一卡通數(shù)據(jù)集成的研究與應(yīng)用[J].華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,51(S1):13-16,20.
[3]吳信東,董丙冰,堵新政,等.數(shù)據(jù)治理技術(shù)[J].軟件學(xué)報(bào),2019,30(9):2830-2856.
[4]張穎.大數(shù)據(jù)背景下高校“一站式”服務(wù)模型的探索和實(shí)踐[J].計(jì)算機(jī)應(yīng)用與軟件,2019,36(7):128-132.
[5]冀翠萍.智慧校園業(yè)務(wù)應(yīng)用融合的探索與實(shí)踐[J].現(xiàn)代教育技術(shù),2018,28(1):66-72.
[6]仇建斌.智慧校園數(shù)據(jù)管理交換平臺(tái)研究與建設(shè)[J].計(jì)算機(jī)時(shí)代,2019(4):107-110.
作者:徐小梅 單位:蘭州交通大學(xué) 網(wǎng)絡(luò)信息中心