導(dǎo)語：海洋環(huán)境數(shù)據(jù)系統(tǒng)設(shè)計(jì)論文一文來源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

1引言

傳統(tǒng)的海洋數(shù)據(jù)服務(wù)一般是專項(xiàng)專建、專人專用，針對人群比較單一、數(shù)據(jù)類型比較簡單，而且在項(xiàng)目結(jié)束后通常建設(shè)的數(shù)據(jù)庫和應(yīng)用系統(tǒng)由于沒有后期的經(jīng)費(fèi)支撐而停用。本研究提出的海洋環(huán)境數(shù)據(jù)在線服務(wù)系統(tǒng)（以下簡稱系統(tǒng)），涵蓋了多專項(xiàng)、多學(xué)科的數(shù)據(jù)，在原有數(shù)據(jù)庫、應(yīng)用系統(tǒng)、專網(wǎng)基礎(chǔ)上進(jìn)行系統(tǒng)集成、數(shù)據(jù)庫擴(kuò)建，為海洋局屬各單位提供共享服務(wù)。系統(tǒng)是運(yùn)用面向服務(wù)架構(gòu)的設(shè)計(jì)思想搭建應(yīng)用系統(tǒng)。采用并行數(shù)據(jù)庫技術(shù)實(shí)現(xiàn)大數(shù)據(jù)量的存儲(chǔ)、加載、更新、查詢等操作，利用ETL調(diào)度工具實(shí)現(xiàn)源數(shù)據(jù)庫到并行數(shù)據(jù)庫的數(shù)據(jù)抽取、轉(zhuǎn)換和轉(zhuǎn)載，減少重新建庫的工作量。采用虛擬化技術(shù)整合存儲(chǔ)、服務(wù)器、網(wǎng)絡(luò)資源，建設(shè)數(shù)據(jù)中心集群，提高資源利用率，采用域控管理機(jī)制實(shí)現(xiàn)數(shù)據(jù)安全管理，權(quán)限管理。采用VPN認(rèn)證管理機(jī)制，保障系統(tǒng)安全正常運(yùn)轉(zhuǎn)。

2系統(tǒng)設(shè)計(jì)

系統(tǒng)通過面向服務(wù)的總體架構(gòu)，以數(shù)據(jù)的匯集、處理、應(yīng)用為基礎(chǔ)主線，采用高速并行技術(shù)，結(jié)合虛擬化技術(shù)等先進(jìn)IT技術(shù)，設(shè)計(jì)系統(tǒng)的邏輯架構(gòu)、功能架構(gòu)、物理架構(gòu)與技術(shù)架構(gòu)。

2．1邏輯架構(gòu)

系統(tǒng)總體架框架由數(shù)據(jù)層、管理層和應(yīng)用層3部分構(gòu)成，數(shù)據(jù)層是指通過對歷史收集、專項(xiàng)調(diào)查、在線傳輸?shù)确绞绞占?，采用?shù)據(jù)集、數(shù)據(jù)庫方式進(jìn)行數(shù)據(jù)存儲(chǔ)與管理；管理層是指對使用系統(tǒng)的用戶進(jìn)行統(tǒng)一認(rèn)證、用戶管理、數(shù)據(jù)授權(quán)等實(shí)現(xiàn)用戶有效可控的管理；應(yīng)用層是指為用戶提供數(shù)據(jù)的在線查詢檢索、數(shù)據(jù)時(shí)空分布檢索、產(chǎn)品加工處理等應(yīng)用服務(wù)，滿足用戶多樣化的需求。應(yīng)用層與管理層通過內(nèi)網(wǎng)和專網(wǎng)訪問數(shù)據(jù)層，實(shí)現(xiàn)數(shù)據(jù)的管理、查詢、處理等服務(wù)。

（1）數(shù)據(jù)層。數(shù)據(jù)層主要由原始數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)和成果數(shù)據(jù)3部分組成。原始數(shù)據(jù)是指海洋儀器現(xiàn)場采集的原始資料、現(xiàn)場匯交的紙質(zhì)或者電子資料等。原始數(shù)據(jù)采用文件方式存儲(chǔ)，基于原始資料清單和數(shù)據(jù)庫文件目錄等方式進(jìn)行管理。類型包括海洋觀測原始資料、海洋監(jiān)測原始資料、專項(xiàng)調(diào)查匯交資料等?；A(chǔ)數(shù)據(jù)是指對原始數(shù)據(jù)進(jìn)行整理、排重、質(zhì)量控制等處理之后形成的標(biāo)準(zhǔn)化數(shù)據(jù)。內(nèi)容主要包括專項(xiàng)調(diào)查數(shù)據(jù)、觀測實(shí)時(shí)資料數(shù)據(jù)與國際業(yè)務(wù)化數(shù)據(jù)等，專項(xiàng)調(diào)查數(shù)據(jù)包括水文、氣象等9個(gè)學(xué)科，觀測實(shí)時(shí)資料數(shù)據(jù)包括海洋站、雷達(dá)、浮標(biāo)等?；A(chǔ)數(shù)據(jù)采用數(shù)據(jù)庫存儲(chǔ)方式，根據(jù)基礎(chǔ)數(shù)據(jù)的資料類型、資料格式、數(shù)據(jù)觀測頻率、數(shù)據(jù)傳輸頻率、數(shù)據(jù)量等設(shè)計(jì)數(shù)據(jù)庫結(jié)構(gòu)。成果數(shù)據(jù)是指經(jīng)過信息提取、多源數(shù)據(jù)融合、數(shù)值模型分析、統(tǒng)計(jì)分析等手段處理后形成的數(shù)據(jù)。成果數(shù)據(jù)由要素?cái)?shù)據(jù)、成果專題數(shù)據(jù)、資料目錄數(shù)據(jù)組成，采用數(shù)據(jù)庫存儲(chǔ)方式。要素?cái)?shù)據(jù)是以基礎(chǔ)數(shù)據(jù)為基礎(chǔ)，根據(jù)數(shù)據(jù)的專題應(yīng)用保障和服務(wù)需求，按照時(shí)間、空間、專題要素等進(jìn)行組織的數(shù)據(jù)。成果專題數(shù)據(jù)主要包括數(shù)值型產(chǎn)品和圖形產(chǎn)品，涵蓋海洋再分析產(chǎn)品、實(shí)況分析產(chǎn)品、潮汐預(yù)報(bào)產(chǎn)品和海洋專題產(chǎn)品等。資料目錄數(shù)據(jù)主要包括原始數(shù)據(jù)集目錄索引、標(biāo)準(zhǔn)數(shù)據(jù)集目錄索引、產(chǎn)品數(shù)據(jù)目錄索引等。

（2）管理層。管理層主要負(fù)責(zé)系統(tǒng)的用戶管理、資源管理、業(yè)務(wù)流程管理和運(yùn)行監(jiān)控管理等內(nèi)容。用戶管理包括用戶的創(chuàng)建、更改和刪除、角色管理、功能授權(quán)與數(shù)據(jù)授權(quán)；資源管理包括目錄索引管理、數(shù)據(jù)導(dǎo)航管理、信息管理與信息資源管理；業(yè)務(wù)流程管理包括數(shù)據(jù)申請、虛擬機(jī)管理、數(shù)據(jù)審批管理等；運(yùn)行監(jiān)控管理包括運(yùn)行環(huán)境監(jiān)控、數(shù)據(jù)資源監(jiān)控與用戶行為監(jiān)控。

（3）應(yīng)用層。應(yīng)用層依托于中心內(nèi)網(wǎng)和海洋專網(wǎng)，基于并行數(shù)據(jù)庫技術(shù)和虛擬化技術(shù)，實(shí)現(xiàn)海洋局屬單位間的數(shù)據(jù)在線服務(wù)。應(yīng)用層主要包括：數(shù)據(jù)時(shí)空分布展示、數(shù)據(jù)查詢檢索服務(wù)、數(shù)據(jù)共享虛擬環(huán)境、產(chǎn)品制作與產(chǎn)品導(dǎo)出功能。數(shù)據(jù)時(shí)空分布展示是利用數(shù)據(jù)的經(jīng)緯度、時(shí)間范圍、站次數(shù)等關(guān)鍵信息，通過統(tǒng)計(jì)計(jì)算數(shù)據(jù)量，依據(jù)色彩圖例，進(jìn)行時(shí)空分布展示。數(shù)據(jù)查詢檢索服務(wù)包括數(shù)據(jù)庫查詢檢索和數(shù)據(jù)集查詢檢索。該服務(wù)可提供基于矢量地圖及影像地圖的地圖顯示控件的數(shù)據(jù)查詢服務(wù)，以及使用關(guān)鍵字對數(shù)據(jù)進(jìn)行查詢。產(chǎn)品制作是指對資料進(jìn)行整理、標(biāo)準(zhǔn)化處理，開展數(shù)據(jù)識(shí)別、解碼等預(yù)處理操作，利用數(shù)據(jù)統(tǒng)計(jì)分析工具進(jìn)行產(chǎn)品的加工制作。產(chǎn)品導(dǎo)出是指對用戶加工制作產(chǎn)生的產(chǎn)品成果提供數(shù)據(jù)的導(dǎo)出功能，實(shí)現(xiàn)數(shù)據(jù)從虛擬機(jī)到本機(jī)的導(dǎo)出服務(wù)。

2．2物理架構(gòu)

按照系統(tǒng)設(shè)計(jì)，對系統(tǒng)運(yùn)行硬件環(huán)境進(jìn)行搭建，硬件環(huán)境涵蓋原始數(shù)據(jù)文件存儲(chǔ)區(qū)、數(shù)據(jù)庫存儲(chǔ)區(qū)、數(shù)據(jù)處理區(qū)、數(shù)據(jù)服務(wù)區(qū)。按照網(wǎng)絡(luò)布局可化為中心內(nèi)網(wǎng)和海洋專網(wǎng)，內(nèi)網(wǎng)為中心內(nèi)部用戶提供在線服務(wù)的入口，專網(wǎng)主要包括海洋觀測網(wǎng)、海洋監(jiān)測網(wǎng)、數(shù)字海洋網(wǎng)；數(shù)字海洋網(wǎng)為海洋局屬單位提供在線服務(wù)的入口，用戶經(jīng)由內(nèi)網(wǎng)／數(shù)字海洋網(wǎng)通過VPN身份認(rèn)證后方可進(jìn)入用戶主頁，通過登錄進(jìn)入個(gè)人虛擬工作環(huán)境（即用戶虛擬機(jī)），用戶可在虛擬機(jī)中對數(shù)據(jù)進(jìn)行查詢、處理和產(chǎn)品制作。系統(tǒng)經(jīng)由海洋觀測網(wǎng)和海洋監(jiān)測網(wǎng)接收實(shí)時(shí)、延時(shí)觀測和監(jiān)測的海洋數(shù)據(jù)，并發(fā)送到系統(tǒng)的文件存儲(chǔ)區(qū)和處理資料臨時(shí)存儲(chǔ)區(qū)，由存儲(chǔ)管理系統(tǒng)進(jìn)行數(shù)據(jù)的接收、存儲(chǔ)和管理。利用用戶授權(quán)管理將數(shù)據(jù)分發(fā)到數(shù)據(jù)處理用戶的虛擬機(jī)中。數(shù)據(jù)處理用戶通過中心內(nèi)網(wǎng)登錄到虛擬機(jī)后，開展數(shù)據(jù)整理、標(biāo)準(zhǔn)化處理工作后，將處理結(jié)果按照指定的路徑存放。由數(shù)據(jù)傳輸系統(tǒng)同步傳輸?shù)疆a(chǎn)品制作用戶的虛擬機(jī)中，用戶可開展產(chǎn)品加工制作并將成果按照指定的路徑存放。最終由數(shù)據(jù)交換系統(tǒng)存儲(chǔ)到統(tǒng)一的資料存儲(chǔ)管理區(qū)。ETL處理系統(tǒng)經(jīng)過數(shù)據(jù)抽取、清洗、轉(zhuǎn)換等處理，將數(shù)據(jù)處理結(jié)果和產(chǎn)品加載入庫，最終經(jīng)由中心內(nèi)網(wǎng)和海洋專網(wǎng)為海洋局屬單位提供數(shù)據(jù)共享服務(wù)。

3系統(tǒng)功能實(shí)現(xiàn)

系統(tǒng)通過用戶唯一入口登錄，保證數(shù)據(jù)安全；開發(fā)數(shù)據(jù)處理系統(tǒng)，完成數(shù)據(jù)格式化轉(zhuǎn)換；利用ETL處理系統(tǒng)，完成并行數(shù)據(jù)庫的數(shù)據(jù)處理與調(diào)度，包括數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換與清洗及數(shù)據(jù)加載；開發(fā)數(shù)據(jù)庫檢索、數(shù)據(jù)集檢索、文件輸出審批和文件導(dǎo)出等應(yīng)用程序；開發(fā)系統(tǒng)運(yùn)行監(jiān)控管理系統(tǒng)，對系統(tǒng)的運(yùn)行環(huán)境、數(shù)據(jù)狀況和用戶行為進(jìn)行監(jiān)控和管理。

3．1數(shù)據(jù)處理分系統(tǒng)

3．1．1實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)

根據(jù)海洋環(huán)境數(shù)據(jù)觀測的采集規(guī)范和編碼規(guī)定，對接收、收集和整合的大量海洋調(diào)查、業(yè)務(wù)化觀測／監(jiān)測等資料，按照資料類型、觀測儀器、觀測手段、要素內(nèi)容等特點(diǎn)，開展數(shù)據(jù)識(shí)別、解碼、數(shù)字化、數(shù)據(jù)項(xiàng)檢查、代碼檢查等預(yù)處理，按照時(shí)間、空間和觀測資料類型進(jìn)行排重、排序和初步質(zhì)量控制，剔除異常數(shù)據(jù)，依據(jù)數(shù)據(jù)來源、時(shí)間、地點(diǎn)等信息對數(shù)據(jù)文件進(jìn)行挑選、過濾、分類存放，同時(shí)完善和新建相應(yīng)的海洋環(huán)境數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)，對資料進(jìn)行標(biāo)準(zhǔn)化格式轉(zhuǎn)換。

3．1．2歷史數(shù)據(jù)處理子系統(tǒng)

系統(tǒng)根據(jù)海洋環(huán)境數(shù)據(jù)觀測設(shè)備性能、儀器訂正參數(shù)、資料種類、觀測要素類型、觀測方式、資料時(shí)空分布、要素?cái)?shù)據(jù)經(jīng)驗(yàn)范圍等特點(diǎn)，配置質(zhì)量控制參數(shù)，采用相應(yīng)的質(zhì)量控制方法，對各類海洋環(huán)境數(shù)據(jù)進(jìn)行精細(xì)化的計(jì)算機(jī)自動(dòng)質(zhì)量控制和人工審核。質(zhì)量控制方法包括范圍檢驗(yàn)、非法碼檢驗(yàn)、相關(guān)檢驗(yàn)、季節(jié)性檢驗(yàn)、一致性檢驗(yàn)、著陸點(diǎn)檢驗(yàn)、梯度檢驗(yàn)、尖峰檢驗(yàn)、氣候?qū)W檢驗(yàn)和極值檢驗(yàn)等。

3．2數(shù)據(jù)庫加載分系統(tǒng)

數(shù)據(jù)庫加載系統(tǒng)包括通用數(shù)據(jù)庫加載系統(tǒng)與并行數(shù)據(jù)庫加載系統(tǒng)。通用數(shù)據(jù)庫加載系統(tǒng)是通過加載文件清單的方式進(jìn)行數(shù)據(jù)管理，清單文件是對每類數(shù)據(jù)的特征描述，包括文件類型、文件名、調(diào)查機(jī)構(gòu)、絕對路徑、備注等信息，通過一條記錄就可以確認(rèn)數(shù)據(jù)類型并找到數(shù)據(jù)存儲(chǔ)位置。清單文件的組織結(jié)構(gòu)與數(shù)據(jù)庫表結(jié)構(gòu)一致，且加載系統(tǒng)可實(shí)現(xiàn)清單列名與數(shù)據(jù)庫列名對應(yīng)關(guān)系的動(dòng)態(tài)調(diào)整，清單配置文件設(shè)置完成后，單擊上傳，將清單的記錄入庫，加載過程中可通過狀態(tài)條查看加載進(jìn)度。并行數(shù)據(jù)庫加載系統(tǒng)先按照數(shù)據(jù)庫結(jié)構(gòu)利用ETL處理系統(tǒng)通過抽取數(shù)據(jù)文件的相關(guān)信息形成庫文件，將庫文件存放在規(guī)定的目錄下，并查看庫文件的文件表結(jié)構(gòu)，創(chuàng)建相應(yīng)的數(shù)據(jù)庫表，創(chuàng)建shell腳本并制定源文件和目標(biāo)文件，最后寫入數(shù)據(jù)庫。

3．3數(shù)據(jù)查詢檢索分系統(tǒng)

系統(tǒng)主要分為兩大模塊：關(guān)鍵字查詢和圖形化檢索。系統(tǒng)界面左側(cè)顯示海洋資料體系結(jié)構(gòu)，右側(cè)用于經(jīng)緯度區(qū)域選擇地圖和查詢結(jié)果瀏覽。用戶首先在左側(cè)選擇相應(yīng)的航次，然后在右側(cè)地圖圈定需求的區(qū)域，再輸入關(guān)鍵字，查詢該區(qū)域的特定信息，或查詢特定區(qū)域的所有信息，或查詢所有區(qū)域的特定信息，并能夠?qū)Σ樵兘Y(jié)果進(jìn)行統(tǒng)計(jì)、排序、固定格式表格的導(dǎo)出。

3．4運(yùn)行監(jiān)控管理分系統(tǒng)

通過建立運(yùn)行環(huán)境監(jiān)控信息數(shù)據(jù)庫，確定數(shù)據(jù)庫中各類監(jiān)控信息表、監(jiān)控要素字段、監(jiān)控狀態(tài)字段、表關(guān)系和數(shù)據(jù)字典等，實(shí)現(xiàn)運(yùn)行環(huán)境監(jiān)控、數(shù)據(jù)監(jiān)控與用戶行為監(jiān)控的實(shí)體建設(shè)。

3．4．1運(yùn)行環(huán)境監(jiān)控與管理子系統(tǒng)

運(yùn)行環(huán)境監(jiān)控與管理子系統(tǒng)包括硬件環(huán)境監(jiān)控和軟件環(huán)境監(jiān)控兩部分。硬件環(huán)境監(jiān)控是通過對系統(tǒng)局域網(wǎng)硬件設(shè)備運(yùn)行的日志信息進(jìn)行提取、分析，實(shí)現(xiàn)對服務(wù)器、存儲(chǔ)陣列、交換機(jī)、路由器、防火墻等設(shè)備故障診斷、告警等功能。軟件環(huán)境監(jiān)控是通過研制各商業(yè)軟件（操作系統(tǒng)、數(shù)據(jù)庫軟件等）與各業(yè)務(wù)系統(tǒng)（數(shù)據(jù)處理軟件等）運(yùn)行日志讀取接口，實(shí)時(shí)讀取日志信息并加載運(yùn)行環(huán)境監(jiān)控信息數(shù)據(jù)庫。

3．4．2數(shù)據(jù)資源監(jiān)控與管理子系統(tǒng)

數(shù)據(jù)資源監(jiān)控與管理子系統(tǒng)通過對數(shù)據(jù)匯集狀態(tài)實(shí)時(shí)監(jiān)控，實(shí)現(xiàn)信息反饋、到期告警、匯集情況季報(bào)與年報(bào)輸出等功能，實(shí)現(xiàn)對海洋數(shù)據(jù)處理和質(zhì)量情況的實(shí)時(shí)監(jiān)控和預(yù)警、數(shù)據(jù)處理任務(wù)。調(diào)度管理；通過提取用戶登錄日志、數(shù)據(jù)庫與數(shù)據(jù)集訪問日志、數(shù)據(jù)申請信息進(jìn)行分析，實(shí)現(xiàn)數(shù)據(jù)的服務(wù)內(nèi)容、服務(wù)對象、應(yīng)用領(lǐng)域情況的實(shí)時(shí)監(jiān)控。

3．4．3用戶行為監(jiān)控與管理子系統(tǒng)

用戶行為監(jiān)控與管理子分系統(tǒng)實(shí)時(shí)對用戶的登錄、數(shù)據(jù)資源訪問、外部設(shè)備使用、軟件安裝預(yù)警和設(shè)備接入等行為進(jìn)行監(jiān)控，具有終止用戶操作、告警提示、季度分析報(bào)告輸出等功能，在提供用戶方便使用的前提下保障系統(tǒng)的穩(wěn)定運(yùn)行。

4關(guān)鍵技術(shù)

根據(jù)系統(tǒng)總體功能定位，在已有的工作基礎(chǔ)之上，以數(shù)據(jù)的匯集、處理、存儲(chǔ)、管理、服務(wù)過程為主線，采用操作系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)管理與共享3層軟件體系，集成各類自主研發(fā)功能，構(gòu)建靈活、穩(wěn)定的架構(gòu)模式。架構(gòu)主要基于虛擬化技術(shù)、并行處理技術(shù)、數(shù)據(jù)檢索并行處理技術(shù)與J2EE技術(shù)等關(guān)鍵技術(shù)。

4．1虛擬化技術(shù)

由于用戶對處理器、內(nèi)存等硬件和操作系統(tǒng)需求不同，用戶工作使用的數(shù)據(jù)處理軟件、資料質(zhì)量控制軟件和產(chǎn)品制作軟件不盡相同，為滿足用戶需求，同時(shí)提高服務(wù)器、存儲(chǔ)陣列等資源的利用率，采用服務(wù)器虛擬化技術(shù)實(shí)現(xiàn)滿足不同用戶需求的虛擬機(jī)，同時(shí)消除服務(wù)器與存儲(chǔ)陣列對應(yīng)用系統(tǒng)的物理局限性。服務(wù)器虛擬化技術(shù)是將一個(gè)物理服務(wù)器虛擬成若干個(gè)服務(wù)器使用，使得單個(gè)物理服務(wù)器上可以運(yùn)行多個(gè)虛擬服務(wù)器。

4．2并行處理技術(shù)

利用高速并行處理引擎，完成多層次海洋數(shù)據(jù)體系動(dòng)態(tài)更新的ETL（抽取、轉(zhuǎn)換、加載）并行處理，實(shí)現(xiàn)整個(gè)系統(tǒng)的數(shù)據(jù)處理與調(diào)度，包括數(shù)據(jù)抽取、數(shù)據(jù)傳輸、數(shù)據(jù)轉(zhuǎn)換與清洗、數(shù)據(jù)加載以及調(diào)度監(jiān)控。

4．2．1數(shù)據(jù)抽取

數(shù)據(jù)抽取的方式包括：全表刷新、時(shí)間戳增量、日志增量和時(shí)間戳比較。系統(tǒng)采用時(shí)間戳增量方式完成數(shù)據(jù)的抽取，時(shí)間戳增量方式是通過記錄時(shí)間將增量數(shù)據(jù)從源數(shù)據(jù)抽取出來，以附加的方式加載到高速數(shù)據(jù)存儲(chǔ)中，完成源數(shù)據(jù)中的記錄定期更新。時(shí)間戳增量方式是在源系統(tǒng)需要抽取的數(shù)據(jù)表中增加時(shí)間戳字段，用以表示數(shù)據(jù)的修改或新增時(shí)間，在數(shù)據(jù)抽取時(shí)通過它來識(shí)別和抽取增量數(shù)據(jù)。

4．2．2數(shù)據(jù)轉(zhuǎn)換

由于海洋數(shù)據(jù)通過調(diào)查、匯交、網(wǎng)載等多種手段獲取，每種手段來源的數(shù)據(jù)存在定義不規(guī)范、格式不統(tǒng)一等情況，導(dǎo)致系統(tǒng)的源數(shù)據(jù)存在重復(fù)、錯(cuò)誤、格式不一等情況。數(shù)據(jù)轉(zhuǎn)換是將多來源、多調(diào)查手段、多要素和多格式的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，形成格式統(tǒng)一、實(shí)用性強(qiáng)的數(shù)據(jù)存儲(chǔ)層。

4．2．3數(shù)據(jù)加載

將業(yè)務(wù)系統(tǒng)和源數(shù)據(jù)庫層抽取、轉(zhuǎn)換后的數(shù)據(jù)加載、更新到目標(biāo)數(shù)據(jù)庫中。根據(jù)業(yè)務(wù)數(shù)據(jù)的實(shí)際情況，對不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采用不同的加載周期；根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務(wù)規(guī)則確定，采用直接追加、全部覆蓋、更新追加等多種方式進(jìn)行處理。

4．2．4高速并行調(diào)度

利用高速并行ETL調(diào)度，按照既定步驟完成數(shù)據(jù)抽取、轉(zhuǎn)換、加載的全部時(shí)間和流程的調(diào)度任務(wù)。調(diào)度的內(nèi)容包括：從各業(yè)務(wù)系統(tǒng)到數(shù)據(jù)層的調(diào)度，實(shí)現(xiàn)多來源數(shù)據(jù)的提取、轉(zhuǎn)換和加載；從數(shù)據(jù)層到數(shù)據(jù)存儲(chǔ)的調(diào)度，實(shí)現(xiàn)了原始數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)的高速并行存儲(chǔ)；從數(shù)據(jù)存儲(chǔ)到應(yīng)用層的調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的并行查詢檢索。

5結(jié)束語

海洋環(huán)境數(shù)據(jù)在線服務(wù)系統(tǒng)實(shí)現(xiàn)了內(nèi)部資源整合和數(shù)據(jù)業(yè)務(wù)流程的規(guī)劃設(shè)計(jì)，完成了海洋數(shù)據(jù)從接收、整理、標(biāo)準(zhǔn)化處理到產(chǎn)品加工的一體化管理與服務(wù)。但是系統(tǒng)仍存在很多不足，如數(shù)據(jù)加載程序中間過程仍需要人工干預(yù)，數(shù)據(jù)三維可視化方面存在不足。因此其進(jìn)一步改進(jìn)目標(biāo)是實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化加載，開發(fā)信息可視化展示系統(tǒng)。

作者:宋曉姜曉軼韓璐遙王漪單位:國家海洋信息中心國家海洋局?jǐn)?shù)字海洋科學(xué)技術(shù)重點(diǎn)實(shí)驗(yàn)室