大數(shù)據(jù)遷移方案范文

時間:2023-06-05 17:59:05

導(dǎo)語:如何才能寫好一篇大數(shù)據(jù)遷移方案,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。

大數(shù)據(jù)遷移方案

篇1

作為大賽獨家贊助商的領(lǐng)導(dǎo),IBM大中華區(qū)副總裁兼大中華區(qū)軟件集團總經(jīng)理胡世忠表示:“在大數(shù)據(jù)的時代,DB2引領(lǐng)著下一代數(shù)據(jù)庫技術(shù)的發(fā)展方向,已經(jīng)成為客戶的首要選擇。越來越多的全球知名企業(yè)正在將他們的數(shù)據(jù)庫遷移到IBM的DB2平臺上來。IBM還在去年5月在中國成立了數(shù)據(jù)庫遷移中心,幫助客戶實現(xiàn)無縫遷移,實現(xiàn)從業(yè)務(wù)價值評估到后續(xù)技術(shù)的全方位支持。此外,IBM一如既往地密切關(guān)注廣大技術(shù)開發(fā)者的需求,2011年IBM和全球200多所大學(xué)合作開展了業(yè)務(wù)分析方面的課程,同時舉辦了1200場現(xiàn)場和在線的大數(shù)據(jù)技能訓(xùn)練營?!贝舜蜠B2遷移之星大賽正是IBM對中國市場和廣大軟件技術(shù)開發(fā)者的承諾。未來,IBM將與中國廣大的客戶、合作伙伴、技術(shù)開發(fā)者繼續(xù)攜手合作,共創(chuàng)未來。

應(yīng)對需求

呼喚杰出技術(shù)人才

IDC預(yù)計,2012年全球存儲的信息數(shù)據(jù)總量將增長到2.7ZB,比2011年增長了48%,值得關(guān)注的是,這些數(shù)據(jù)中90%是非結(jié)構(gòu)化數(shù)據(jù)。中國電子信息產(chǎn)業(yè)發(fā)展研究院副院長、中國計算機行業(yè)協(xié)會常務(wù)副會長、中國計算機報社社長盧山表示:“未來,大數(shù)據(jù)將會成為產(chǎn)業(yè)發(fā)展變化的關(guān)鍵點。”他結(jié)合大賽將DB2三個字母做了全新的解釋:“D代表Data,在未來十年甚至在可以預(yù)見的未來,無論非結(jié)構(gòu)化數(shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù),通過挖掘和再生產(chǎn)都將會變成信息社會一個重要的組成部分;B代表Business,只有完整的商業(yè)模式才能把數(shù)據(jù)變成價值,為整個信息社會反復(fù)利用;2代表中國軟件和信息服務(wù)業(yè)人才在‘十一五’末期到‘十二五’末期的翻倍變化,預(yù)計從300萬增長到超過600萬?!?/p>

大數(shù)據(jù)時代,企業(yè)的數(shù)據(jù)量不僅在以前所未有的速度增長,數(shù)據(jù)的復(fù)雜度也突破了原有的關(guān)系數(shù)據(jù)范疇,給企業(yè)的信息管理增加了難度。中國計算機用戶協(xié)會名譽理事長陳正清表示:“我們非常高興地看到IBM已經(jīng)看到企業(yè)在數(shù)據(jù)管理方面的困境,并提出了解決方案。IBM的系列產(chǎn)品很好地融合了數(shù)據(jù)庫管理系統(tǒng)、中間件平臺以及最新的云計算技術(shù),幫助企業(yè)在海量信息中抓取商業(yè)價值。而本次大賽也涌現(xiàn)出了很多數(shù)據(jù)庫領(lǐng)域的技術(shù)精英,他們能夠針對眾多企業(yè)面臨的困難提供很好的解決方案,并在實踐中得到驗證?!?/p>

大數(shù)據(jù)變革呼喚著越來越多的軟件工程師脫穎而出,也正是在這樣的一個大的背景下,主辦方在IBM的支持下組織了IBM DB2遷移之星大賽。中國軟件行業(yè)協(xié)會數(shù)據(jù)庫與應(yīng)用軟件分會理事長唐世渭表示:“讓數(shù)據(jù)獲得更大價值的關(guān)鍵在于人才,而這也正是此次大賽的目的之一――促進包括像DB2數(shù)據(jù)庫工程師在內(nèi)的高端信息人才的成長和發(fā)展,推動我國信息管理技術(shù)的持續(xù)創(chuàng)新。這次大賽對促進我國數(shù)據(jù)庫應(yīng)用事業(yè)的發(fā)展和相關(guān)人才的成長具有積極的意義和重要的作用。”

王者勝出

十強獎項各有歸屬

2011 IBM DB2遷移之星大賽為中國企業(yè)程序員和數(shù)據(jù)庫管理員們一個展現(xiàn)自己、表現(xiàn)自我的舞臺。通過舉辦本次賽事,能夠推動數(shù)據(jù)庫工程師和數(shù)據(jù)庫管理員甚至數(shù)據(jù)庫產(chǎn)業(yè)重新理解新的計算理念,推廣新技術(shù),推動各方共同進步。而本次大賽選拔出的一批大優(yōu)秀的數(shù)據(jù)庫工程師也將在未來逐步發(fā)展成為這個產(chǎn)業(yè)的技術(shù)帶頭人和產(chǎn)業(yè)帶頭人。

據(jù)悉,本次大賽歷時半年,參賽選手達(dá)到2163名,覆蓋金融、電信、政府、制造、醫(yī)療、零售等行業(yè)的數(shù)據(jù)庫工程師和管理員以及獨立軟件開發(fā)商、系統(tǒng)集成商中的技術(shù)精英。經(jīng)過嚴(yán)格的初賽、復(fù)賽,最終有十支隊伍闖入決賽。這十支隊伍分別來自有實際數(shù)據(jù)庫遷移經(jīng)驗的行業(yè)用戶,以及系統(tǒng)集成商、獨立軟件開發(fā)商。進入決賽的團隊都將獲得豐厚的獎金,冠亞季軍團隊還將獲得去美國參觀考察的機會。

經(jīng)過3月14日一整天決賽的激烈角逐,在2011 IBM DB2遷移之星大賽頒獎典禮現(xiàn)場,各項獎項最終揭曉。大賽評委會主席、原中國軟件行業(yè)協(xié)會理事長陳沖為冠軍團隊開獎,最終,冠軍團隊由來自北京普遠(yuǎn)天成、北京速通和杭州新世紀(jì)的四名技術(shù)精英共同組成的飛天隊獲得。亞軍由招商銀行五名技術(shù)精英組成的金葵花隊獲得,季軍則由中信銀行兩名技術(shù)精英組成的中信數(shù)據(jù)庫隊獲得。其余七支隊伍獲得了優(yōu)秀團隊獎。

迎接挑戰(zhàn)

實現(xiàn)數(shù)據(jù)庫平臺遷移

據(jù)悉,DB2數(shù)據(jù)庫工程師大賽已經(jīng)舉辦三屆,從第一屆大賽以尋找杰出數(shù)據(jù)庫工程師為主題,到本屆大賽以數(shù)據(jù)庫遷移為主題,體現(xiàn)了DB2在大數(shù)據(jù)時代的進取心:用DB2可以平滑地取代其他數(shù)據(jù)庫引擎。

然而,遷移是一項系統(tǒng)工程,遷移風(fēng)險的評估、遷移割接、遷移前的模擬演練、對不同數(shù)據(jù)庫特性的熟悉程度,都影響到遷移實施的成功與否。這就需要遷移后的平臺能夠具有豐富的遷移支持功能和獨特的商業(yè)價值。IBM副總裁兼DB2數(shù)據(jù)庫和數(shù)據(jù)倉庫開發(fā)總經(jīng)理Judy Huber表示:“IBM的DB2產(chǎn)品有許多獨特的價值優(yōu)勢,包括低運營成本、卓越的系統(tǒng)性能、無限延展性以及高可用性等。特別值得一提的是,選擇DB2能夠使用戶非常便捷地從其他的數(shù)據(jù)庫技術(shù)遷移到DB2平臺,同時可以大大簡化應(yīng)用開發(fā)。DB2能夠幫助全球的客戶在遷移策略中以最小的風(fēng)險利用DB2各種價值優(yōu)勢,有效支持客戶的多元化戰(zhàn)略,充分利用IBM全信息生命周期系列產(chǎn)品的優(yōu)勢,以及數(shù)據(jù)倉庫和大數(shù)據(jù)的優(yōu)勢?!睘榱藨?yīng)對大數(shù)據(jù)的挑戰(zhàn),IBM推出針對大數(shù)據(jù)的全面解決方案,突破了傳統(tǒng)數(shù)據(jù)倉庫和單一的數(shù)據(jù)管理體系,實現(xiàn)更為經(jīng)濟高效的大數(shù)據(jù)管理,并為企業(yè)提供重要的業(yè)務(wù)分析和洞察。

IBM軟件集團大中華區(qū)數(shù)據(jù)庫和數(shù)據(jù)倉庫銷售總監(jiān)陳文玉則分享了DB2應(yīng)用的成功案例,她表示:“DB2的特性讓用戶可以輕松地從其他系統(tǒng)快速地遷移過來,而不需要改變太多系統(tǒng)的設(shè)置。這也是這次比賽的精神,它向大家證明從其他數(shù)據(jù)庫到DB2的遷移工作是非常容易的。越來越多的全球知名客戶已經(jīng)從其他數(shù)據(jù)庫遷移到DB2的平臺上來。”比如可口可樂瓶裝公司通過將數(shù)據(jù)庫遷移到DB2,由于采用DB2深度壓縮技術(shù)存儲需求降低了30%,整體供應(yīng)鏈效率提升65%。

可以說,IBM的大數(shù)據(jù)解決方案提供了大數(shù)據(jù)領(lǐng)域最全面的技術(shù)和產(chǎn)品組合,實現(xiàn)了針對大數(shù)據(jù)管理的企業(yè)級的可靠性和適應(yīng)性實施分析。在大數(shù)據(jù)的時代DB2引領(lǐng)著下一代數(shù)據(jù)庫技術(shù)的發(fā)展方向,在大容量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)壓縮、兼容性、數(shù)據(jù)分析,在這些領(lǐng)域DB2已經(jīng)成為擁有著明顯的優(yōu)勢。

冠軍團隊:飛天隊

賽后,來自北京普遠(yuǎn)天成的隊長徐明偉認(rèn)為這次決賽的題目非常具有實戰(zhàn)性?!拔覀兊膱F隊在運營商方面的經(jīng)驗比較多,對數(shù)據(jù)庫的維護、性能調(diào)優(yōu)、擴容以及培訓(xùn)參與方面都有所涉及?!彼硎?,“團隊成員分工密切,優(yōu)勢互補?;诓煌腄B2版本,我們參與過很多數(shù)據(jù)庫遷移項目,這是很有幫助的。”

徐明偉認(rèn)為DB2目前的版本在功能方面實現(xiàn)了極大的擴展,大部分功能已經(jīng)能夠?qū)崿F(xiàn)與Oracle的兼容,有一些功能實際上已經(jīng)完全相同,只是在名稱上有所區(qū)別。在關(guān)鍵業(yè)務(wù)方面,結(jié)合power的一體化策略使得DB2能夠更好地發(fā)揮整體性能,針對全天候的業(yè)務(wù)環(huán)境和需求,DB2在穩(wěn)定性方面確實做得很好。

在談到希望DB2改進的方面時,來自杭州新世紀(jì)的隊員麥志斌表示:“希望DB2在開發(fā)工具上能做的更好,注意到實際應(yīng)用中包括鎖、排序、參數(shù)優(yōu)化等在內(nèi)的一些細(xì)節(jié)性的問題。如果能加以改進,DB2的適用性會進一步擴展,基于DB2的開發(fā)應(yīng)用也會更加方便、高效?!彪S著DB2版本的不斷更新,功能越來越多,會有更多成功的應(yīng)用和案例出現(xiàn),飛天隊看好DB2的發(fā)展前景。

最終飛天隊獲得了本次決賽的冠軍。隊長徐明偉表示,這是團隊的力量。隊員管偉來自北京速通、麥志斌、陳艷來自另外兩家不同的公司,他們在數(shù)據(jù)庫遷移方面都有豐富的經(jīng)驗。希望以后還能參加這樣的比賽。

亞軍團隊:金葵花隊

在比賽過程中,每次跟金葵花隊溝通,都能感受到他們對本次大賽的認(rèn)真態(tài)度和對數(shù)據(jù)庫遷移技術(shù)的激情。隊長楊盛告訴記者,他們團隊的成員各有所長,配合默契,“團隊成員楊盛、隆、林耘毅、莫淡先、王漢福分別負(fù)責(zé)開發(fā)、架構(gòu)設(shè)計、數(shù)據(jù)庫等不同方面。遇到了問題,就在一起討論,展開頭腦風(fēng)暴。盡管沒能獲得冠軍,有點小遺憾,但獲得亞軍也非常高興。感謝IBM和主辦方能給予我們這個展示自我的平臺?!?/p>

隊員莫淡先稱,決賽時,評委的問題都一針見血,非常到位。專家們提出,銀行數(shù)據(jù)庫業(yè)務(wù)的維護和開發(fā),招商銀行的工作應(yīng)該實現(xiàn)標(biāo)準(zhǔn)化,讓他們非常受啟發(fā)。因為此前,他們也在這方面進行嘗試,但是進展不明顯,原因是數(shù)據(jù)庫遷移涉及運維、開發(fā)、廠商支持等各個方面,要做一項遷移的工程,所有的部門都要參與其中,所以比較復(fù)雜。而降低遷移的復(fù)雜性,推廣遷移的方式方法和成功案例,也正是舉辦此次DB2遷移之星大賽的目的之一。

決賽期間,通過跟其他選手交流,了解到了國內(nèi)頂尖水平的選手都在做些什么,“不再埋頭苦干了”。隊長楊盛建議主辦方多舉辦一些類似活動,讓更多選手參與進來,給更多DB2愛好者和數(shù)據(jù)庫工程師提供切磋的機會。

季軍團隊:中信數(shù)據(jù)庫隊

中信數(shù)據(jù)庫隊隊長唐志剛在參加決賽時自信滿滿。他表示,2011年中信銀行剛完成一個遷移案例,是從Oracle到DB2的遷移。在實際的應(yīng)用中,會使用不同平臺和類型的數(shù)據(jù)庫。目前中信銀行的主流數(shù)據(jù)庫應(yīng)用是DB2。在銀行的交易系統(tǒng)中,可能的高并發(fā)請求對于數(shù)據(jù)庫的穩(wěn)定性和可用性要求非常高。IBM在軟硬件結(jié)合方面做得非常好,DB2數(shù)據(jù)庫應(yīng)用與小型機的結(jié)合很緊密,在性能方面能夠提供契合銀行應(yīng)用實際的強大支持。

在談到數(shù)據(jù)庫開發(fā)應(yīng)用時,唐志剛認(rèn)為,DB2在核心性能方面很優(yōu)秀,開發(fā)工具的管理和界面只是一個形式。如果能夠提供更加友好和人性化的界面,在開發(fā)層面會有一定的好處,開發(fā)者的使用會更加方便,在開發(fā)速度方面也會有所提升。

唐志剛和隊員王清鋒表示:“DB2的設(shè)計理念是非常前端的,未來DB2 應(yīng)在Purescale集群技術(shù)方面進一步完善,產(chǎn)品應(yīng)該進一步擴展,提供更加開放的數(shù)據(jù)平臺。在文檔的共享方面希望開放一些底層的內(nèi)容,也希望DB2能向更多的行業(yè)領(lǐng)域擴展。總體來講,IBM的技術(shù)理念是非常先進的,已經(jīng)在適應(yīng)云計算、大數(shù)據(jù)等潮流的數(shù)據(jù)庫發(fā)展模式方面開展了很多積極的探索,看好DB2以后的發(fā)展?!?/p>

SuperwinningTeam

SuperwinningTeam是第一支進行決賽的參賽隊伍。賽后,來自北京人大金倉的隊長華表示:“這次決賽,我們在題目的準(zhǔn)備上還是比較充分的,遺憾的是在PPT的展示和講解的方式上控制得不太好,在時間的控制方面也沒有做好,關(guān)注的技術(shù)細(xì)節(jié)太多,一些核心的內(nèi)容沒有在規(guī)定的時間內(nèi)展示出來?!?/p>

在談到DB2的應(yīng)用感受時,華認(rèn)為,DB2目前在數(shù)據(jù)倉庫整合方面已經(jīng)做得很好,在數(shù)據(jù)庫應(yīng)用性方面與Oracle相比也已經(jīng)差別不大,只是有一些功能在名稱上有所不同,在一些應(yīng)用特性上DB2已經(jīng)超過了Oracle。對于未來DB2的發(fā)展,來自AVG的隊員高睿峰表示希望在資料共享以及聯(lián)機幫助方面有所改進,目前的資料和文檔范圍太廣泛,如果能進行有針對性的整合,會更便于大家了解和使用。

信總軟件DB2遷移隊

決賽的幾天里,信總軟件DB2遷移隊的隊長柏征和來自濟南市歷城區(qū)農(nóng)業(yè)局的隊員王艷一直非常謙虛。決賽結(jié)束接受采訪時,他語帶感慨地告訴本報記者,此行收獲非常大。從專家的點評中,他感受到“自己欠缺的知識還有很多”。“以前,我們都是為了完成項目查閱一些資料,獲取資料的形式是‘快餐式’的,只要能解決問題即可。”柏征稱,通過此次比賽,“我們感覺到了理論的重要性,實踐必須要有理論作支撐,然后再到實踐中去驗證”。

信總軟件DB2遷移隊的遷移方案來自于單位實踐。目前,信總軟件DB2遷移隊隊長柏征所在的單位山東信總計算機軟件開發(fā)有限公司的IT系統(tǒng)中,小型機、數(shù)據(jù)庫和應(yīng)用產(chǎn)品,都選擇的是IBM。因此,柏征對DB2的應(yīng)用開發(fā)比較了解。但由于單位非常忙,既要做開發(fā),又要做數(shù)據(jù)庫,甚至還得負(fù)責(zé)維護,柏征稱他沒有時間對這些產(chǎn)品進行深入研究。由于技術(shù)人員缺乏,平時遇到問題,很難像其他參賽團隊那樣,可以討論問題,可以溝通解決方案,只能靠自己。所以,“我們很希望能夠跟其他選手多多溝通,非常珍惜這次跟專家、選手面對面交流的機會”。

CPIC_DB隊

CPIC_DB隊的隊長段家生看起來非常內(nèi)向,沉默寡言,但是當(dāng)談到數(shù)據(jù)庫技術(shù),談到比賽以及能夠和這么多專家面對面,段家生的話匣子一下子打開了,講起來滔滔不絕。他告訴記者,盡管單位數(shù)據(jù)的量并不是很大,但是DB2的每一個版本,他都應(yīng)用過。決賽中,他和他的團隊對遷移方案進行了詳細(xì)的測試,并且希望IBM后續(xù)的DB2版本能幫助他們加快遷移的速度。

段家生還告訴記者,從加快數(shù)據(jù)庫用戶從Orcale到DB2的遷移速度的角度看,他們希望IBM能夠共享出來更多資料供開發(fā)者和數(shù)據(jù)庫愛好者下載,在不涉及信息泄露的情況下,希望能有針對用戶的更多、更細(xì)節(jié)的問題說明。比如,一張遷移列表,數(shù)據(jù)類型是什么,會碰到什么問題,該如何解決等,通過這種分享,幫助用戶建立一個知識庫。

能夠跟專家和其他選手進行交流,是隊員劉朝此行最高興的事情。他告訴記者:“我希望能夠聊一些一線用戶對數(shù)據(jù)庫本身的要求,例如對大容量、可用性的需求等,希望能夠聽聽專家的意見?!?/p>

SeniorVision隊

SeniorVision隊隊長王翔表示,在實際的工作中涉及到數(shù)據(jù)庫遷移的實例還是比較多的。這次比賽的感覺明顯與前兩屆不一樣,選擇一個固定行業(yè)進行常用的數(shù)據(jù)庫配置,對于選手的要求更高?!皼Q賽案例設(shè)計得非常好。對于我們來說,可以將以前工作中的數(shù)據(jù)遷移經(jīng)驗做一個總結(jié):如何以一種可重復(fù)的、模塊化的方式進行數(shù)據(jù)遷移,不僅僅局限于表層的數(shù)據(jù)遷移,同時還能對不同類型數(shù)據(jù)庫的特性有更好的理解,在這方面收獲很大?!?基于開放式的環(huán)境,DB2的pure xml功能對于大規(guī)模的數(shù)據(jù)交換能夠提供很好的支持。

在談到對未來DB2大賽的期待時,王翔和隊員皇甫鑫霖、趙玉霞表示,希望大賽能沿用現(xiàn)在的思路,不要從純技術(shù)的角度考量,而是更多地與企業(yè)業(yè)務(wù)需求相結(jié)合,此外還希望在行業(yè)的領(lǐng)域方面能打破限制,更加擴寬一些。

啟明3隊

啟明3隊的成員都是共事多年的同事,配合非常默契。在比賽前,他們堅信這是他們獲勝最有利的籌碼,并且一定能夠沖進三甲。但是,從決賽賽場出來,隊長劉文斌很久都沒能回過神來,始終沉浸在比賽中。他告訴本報記者,因為比較緊張,所以一些問題沒有回答得很好,評委的反應(yīng)不是很熱烈,感覺有點遺憾,對于回答情況的好壞,他們心里也沒底。

不過,劉文斌和隊員楊立影、鄭偉稱,這次比賽的北京之行,“主要是非常希望能有機會跟其他選手交流。在整個比賽中,通過論壇關(guān)注其他技術(shù)開發(fā)人員的關(guān)注點,真是開闊了眼界”。另外,在工作中,啟明3隊隊員都曾經(jīng)應(yīng)用過DB2,比賽中,更感受到了它在穩(wěn)定性方面的表現(xiàn)非常突出,并具有資源配置的靈活性。通過這次比賽,他們重新學(xué)習(xí)了數(shù)據(jù)庫相關(guān)知識,知識面得到了擴充。劉文斌稱:“我們感受到這個行業(yè)發(fā)展的迅速,有許多先進的DB2技術(shù)將越來越多地應(yīng)用到我們以后的實踐中去。”

Zolinn隊

賽后,隊員張春林表示,題目在設(shè)計上非常貼合實際。從應(yīng)用層面看,DB2在數(shù)據(jù)倉庫平臺上有很大的優(yōu)勢,其架構(gòu)更適合于大規(guī)模的數(shù)據(jù)處理。在實際應(yīng)用中,有一些用戶使用的是混合的數(shù)據(jù)庫環(huán)境,這可能是出于平衡的考慮,不希望將數(shù)據(jù)庫應(yīng)用限制在一個平臺上,因此從實際操作的角度看,基于不同數(shù)據(jù)庫的遷移案例也非常多。DB2在運維管理上有一些獨到的特點,它的壓縮功能能夠減少磁盤空間的占用。在實際的測試過程中,DB2對CPU等資源的消耗相比于其他數(shù)據(jù)庫也有優(yōu)勢。從管理角度看,DB2提供的工具比較多,用戶在實際使用上有一點不太適應(yīng)。工具的重合度比較高。如果能整合工具,修改界面風(fēng)格,用戶的體驗會更好。在事務(wù)處理性能,包括可視化的監(jiān)控等方面,希望DB2提供一些基于內(nèi)核的改進,這些方面有改進和提高的余地。

隊長李寧寧認(rèn)為,DB2的purescale機制具有更高的可靠性,是一個比較高端的應(yīng)用方向和思路,適合于大規(guī)模的數(shù)據(jù)處理。未來希望IBM能更加開放,為開源、大數(shù)據(jù)等趨勢提供更多適應(yīng)性的方案。

DataBaser隊

篇2

隨著大數(shù)據(jù)在醫(yī)療與生命科學(xué)研究過程中的廣泛應(yīng)用和不斷擴展,其數(shù)量之大和種類之多令人難以置信。比如,一個CT圖像含有大約150MB的數(shù)據(jù),而一個基因組序列文件大小約為750MB, 一個標(biāo)準(zhǔn)的病理圖則大得多,接近5 GB。如果將這些數(shù)據(jù)量乘以人口數(shù)量和平均壽命,僅一個社區(qū)醫(yī)院或一個中等規(guī)模制藥企業(yè)就可以生成和累積達(dá)數(shù)個TB甚至數(shù)個PB級的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

在中國,2010年,國家公布的“十二五”規(guī)劃中指出要重點建設(shè)國家級、省級和地市級三級衛(wèi)生信息平臺,建設(shè)電子檔案和電子病歷兩個基礎(chǔ)數(shù)據(jù)庫等諸項目標(biāo),也就是推進醫(yī)療信息化的“3521”工程。

過去由于缺少統(tǒng)一的電子病歷系統(tǒng)(EMR)標(biāo)準(zhǔn),中國的電子病歷系統(tǒng)發(fā)展比較緩慢,醫(yī)院之間不能實現(xiàn)病患信息共享,醫(yī)療服務(wù)水平也因此受到影響。

為改善這一現(xiàn)狀,國家會逐漸加大對電子病歷的投入。適應(yīng)這一趨勢,各級醫(yī)院也將加大在數(shù)據(jù)中心、IT外包等領(lǐng)域的投入。而隨著醫(yī)療信息數(shù)據(jù)的幾何倍數(shù)增長,醫(yī)院信息存儲將越來越受到重視,醫(yī)療信息中心的關(guān)注點也將由傳統(tǒng)計算領(lǐng)域轉(zhuǎn)移到存儲領(lǐng)域上來。

有弊就有利

對于許多醫(yī)療和生命科學(xué)機構(gòu)而言,努力控制大數(shù)據(jù)造成的呈螺旋上漲的成本、復(fù)雜性和風(fēng)險已經(jīng)成為一個至關(guān)重要的問題。然而,從另一個角度來看,醫(yī)療大數(shù)據(jù)能夠帶來的收益要遠(yuǎn)遠(yuǎn)超出管理它們的成本,如開放新的具有醫(yī)療價值的信息源,提高診斷準(zhǔn)確性和速度,預(yù)測疾病和健康形態(tài),以及取得生命科學(xué)創(chuàng)新的不同見解。美國管理咨詢公司麥肯錫全球研究院(MGI)預(yù)測,如果美國的醫(yī)療行業(yè)能夠有效利用不斷增長的大數(shù)據(jù)來提高效率和質(zhì)量,那么每年可創(chuàng)造超過3000億美元的額外價值。而且,在歐洲的發(fā)達(dá)國家中,僅在提高運行效率一項上,政府行政管理部門就可以利用大數(shù)據(jù)節(jié)省1000億歐元以上的費用。

任何事物都有兩面性。醫(yī)療大數(shù)據(jù)的確對數(shù)據(jù)管理、存儲、分布和保護等諸多方面形成挑戰(zhàn)。但是,對于大多數(shù)成功的醫(yī)療機構(gòu)來說,利用大數(shù)據(jù)已經(jīng)成為提高生產(chǎn)力、改進護理水平、增強競爭力、加快增長和創(chuàng)新的關(guān)鍵策略。那么,我們該如何在兩方面進行平衡,實現(xiàn)可觀的效果和利潤呢?

答案存在于數(shù)據(jù)經(jīng)濟學(xué)中,即如何使從數(shù)據(jù)中獲取價值的成本低于數(shù)據(jù)能產(chǎn)生的效益。如果我們能夠有效地將數(shù)據(jù)存儲、處理和保護成本降至極低,然后利用尖端技術(shù)將數(shù)據(jù)轉(zhuǎn)化成支持臨床需要與業(yè)務(wù)增長的可執(zhí)行信息,我們就能實現(xiàn)極高的數(shù)據(jù)經(jīng)濟效益。

醫(yī)療大數(shù)據(jù)的挑戰(zhàn)

然而,如何有效地將大數(shù)據(jù)存儲成本降至最低,是企業(yè)和IT領(lǐng)導(dǎo)者,尤其是內(nèi)容驅(qū)動的醫(yī)療和生命科學(xué)企業(yè)面臨的根本性挑戰(zhàn)。因為除了數(shù)據(jù)數(shù)量和形態(tài)的迅速增加,醫(yī)療數(shù)據(jù)還需要越來越長的保留期?;颊叩牟v可能需要保存70或80年,甚至更長。許多情況下,病歷還必須以原始格式永久保存,以滿足法規(guī)遵從的要求。同樣,生命科學(xué)研究機構(gòu)有選擇性地選擇價值足以保留和維護數(shù)十年的數(shù)據(jù),以期為新研究提供依據(jù)。

另外,許多醫(yī)療與生命科學(xué)研究機構(gòu)在竭力應(yīng)對資源緊張、持續(xù)的業(yè)務(wù)增長和新醫(yī)療技術(shù)帶來的挑戰(zhàn)。不斷變化的外部環(huán)境常常造成醫(yī)療機構(gòu)存儲架構(gòu)的無序擴張,多種系統(tǒng)和工具并存,使得管理變得更加復(fù)雜。

事實上,存儲消費速度加快,存儲資產(chǎn)未得到充分利用,對空間的持續(xù)需求以及動力和冷卻成本的增加,都推動了總體擁有成本的不斷攀升。而且,一旦存儲系統(tǒng)的安全性出現(xiàn)問題,導(dǎo)致醫(yī)療數(shù)據(jù)丟失,醫(yī)院會面臨更嚴(yán)重的局面。對于研究機構(gòu)來說,數(shù)據(jù)存取是創(chuàng)新和競爭力的核心。這樣看來,文件數(shù)據(jù)不斷增長導(dǎo)致的管理成本提升被認(rèn)為是當(dāng)今全球著名公司面臨的五大難題之一,這種結(jié)論就不足為奇了。

醫(yī)療行業(yè)大數(shù)據(jù)理想基礎(chǔ)架構(gòu)

要實現(xiàn)高額數(shù)據(jù)經(jīng)濟效益,關(guān)鍵是能夠?qū)ΠńY(jié)構(gòu)性數(shù)據(jù)和非結(jié)構(gòu)性數(shù)據(jù)在內(nèi)的所有醫(yī)療大數(shù)據(jù)進行集成,實現(xiàn)集中管理和更好的資源配置。

為了整合醫(yī)院不同部門或不同生命科學(xué)系統(tǒng)的大數(shù)據(jù),實現(xiàn)充分的信息搜索和共享,理想的存儲架構(gòu)必須是一個適用于塊數(shù)據(jù)、文件和內(nèi)容的集成系統(tǒng),并且擁有強大的容量、性能和吞吐量,在處理、移動和訪問多個大型數(shù)據(jù)集和大量數(shù)據(jù)(數(shù)量常常達(dá)到數(shù)個TB甚至是PB)時能夠保持運行的一致性。為了盡量降低存儲成本并滿足臨床業(yè)務(wù)需要,理想的存儲架構(gòu)還必須支持臨床創(chuàng)新的數(shù)據(jù)互操作性,必須能夠?qū)崿F(xiàn)智能分層,根據(jù)訪問頻率、臨床價值和實際存儲成本自動完成數(shù)據(jù)分布。這種動態(tài)分層功能有助于進一步提高容量利用和資源配置水平,從而全面優(yōu)化存儲資源的成本效率。

此外,醫(yī)療與生命科學(xué)研究機構(gòu)要求大量的存儲空間和動態(tài)擴展能力,以便處理不斷增長但無法預(yù)測的數(shù)據(jù)和圖像,以達(dá)到高水平的合規(guī)性要求,保證遵從關(guān)于數(shù)據(jù)長期保留、完整性和數(shù)據(jù)保護的政策。最重要的是,一個適當(dāng)?shù)拇鎯ο到y(tǒng)必須具有內(nèi)容感知能力,能夠?qū)?shù)據(jù)轉(zhuǎn)化為可執(zhí)行信息。

內(nèi)容感知是指動態(tài)地進行信息分類并為非結(jié)構(gòu)化數(shù)據(jù)文件分配策略,將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為有價值的信息,從而能夠采用最佳方式,更快進行決策并保護公司敏感數(shù)據(jù)。

HDS文件和內(nèi)容解決方案

HDS文件和內(nèi)容解決方案由Hitachi Content Platform、Hitachi NAS Platform、Hitachi Data Discovery Suite 以及Hitachi Data Ingestor組成,可以滿足在醫(yī)療和生命科學(xué)研究領(lǐng)域中存儲、管理、保護和搜索各類數(shù)據(jù)嚴(yán)苛的要求,無論這些數(shù)據(jù)是PDF文件、醫(yī)學(xué)影像還是病患人口數(shù)據(jù)。另外,Hitachi Clinical Repository(HCR)為管理業(yè)務(wù)和健康數(shù)據(jù)、固定內(nèi)容和圖像,應(yīng)對DICOM/HL7數(shù)據(jù)讀取、數(shù)據(jù)整合、數(shù)據(jù)挖掘和數(shù)據(jù)分布這些獨特挑戰(zhàn)而設(shè)計的。它由Hitachi Content Platform(HCP)和DICOM/HL7網(wǎng)關(guān)組成,可基于HDS平臺、客戶解決方案或合作伙伴的應(yīng)用平臺使用。這些解決方案所具有的獨特功能包括:

集成存儲 ——文件、內(nèi)容和塊服務(wù)在單一管理界面中融合。通過跨平臺創(chuàng)建存儲池和利用虛擬化,客戶可以簡化管理,提高利用水平,并恢復(fù)或延長現(xiàn)有資產(chǎn)的使用壽命。

智能分層——動態(tài)分層存儲架構(gòu)通過預(yù)定義存儲層、數(shù)據(jù)索引和制定自動將數(shù)據(jù)遷移到對應(yīng)層的策略,管理基于文件的數(shù)據(jù)(如PDF文件或醫(yī)學(xué)影像)。通過自動將活躍數(shù)據(jù)遷移到適當(dāng)?shù)钠脚_,你可以優(yōu)化磁盤要求(例如在低成本的SATA硬盤里存儲更多數(shù)據(jù),同時減少在費用高昂的光纖通道、SAS或固態(tài)硬盤(SSD)上存儲數(shù)據(jù))。這一策略根據(jù)精確的業(yè)務(wù)運行需求管理內(nèi)容,不僅使文件和內(nèi)容存儲更有效、更加智能化,還提高了整個存儲系統(tǒng)的成本效率。

存儲優(yōu)化——動態(tài)分層使閑置容量可以輕松得到再利用,重新確定現(xiàn)有資產(chǎn)用途以延長使用壽命,并自動將非活躍數(shù)據(jù)遷移到具有復(fù)制功能的內(nèi)容倉庫。這使容量效率和利用率達(dá)到極大化,同時可以減少備份卷,并且能夠優(yōu)化存儲資產(chǎn)的投資回報率。

內(nèi)容感知搜索———本地自動感知能力可以識別所存儲數(shù)據(jù)的相關(guān)性。對使用單一接口的多種資源還可以進行聯(lián)合查詢,以便搜索數(shù)據(jù)并提供索引。內(nèi)容感知搜索實現(xiàn)了文件和內(nèi)容服務(wù)的真正同化,以滿足法律監(jiān)管和企業(yè)要求,并可以管理內(nèi)容引發(fā)的遷移和其他整體數(shù)據(jù)活動。

低成本存儲———通過集中建立存儲池、跨系統(tǒng)智能擴展和利用動態(tài)分層自動完成數(shù)據(jù)遷移,減少管理節(jié)點,提高存儲資產(chǎn)的使用經(jīng)濟效率,也降低了對硬件的要求。管理、備份、容量規(guī)劃、動力和冷卻成本隨之降低,這些使固定資本(CAPEX)和運營成本(OPEX)都大大降低。事實上,已經(jīng)有數(shù)據(jù)證明,HDS文件和內(nèi)容解決方案可以極大地降低管理成本和備份成本。

邊緣到核心存儲———中心醫(yī)院還可以選擇為偏遠(yuǎn)的醫(yī)療中心提供無縫的邊緣到核心的數(shù)據(jù)訪問支持,增強臨床醫(yī)師間的協(xié)作,通過進行有效控制來實現(xiàn)免備份存儲。

HDS文件和內(nèi)容解決方案——旨在幫助相關(guān)機構(gòu)管控好大數(shù)據(jù)環(huán)境,利用統(tǒng)一、可擴展的管理平臺簡化大數(shù)據(jù)存儲的復(fù)雜性,整合資源促進利用,調(diào)動數(shù)據(jù)以滿足業(yè)務(wù)需求,改進數(shù)據(jù)保護以提高合規(guī)性水平并降低風(fēng)險。

篇3

想象一下在線零售商,當(dāng)購物者在自己的移動設(shè)備上瀏覽頁面時,他們可以通過限時搶購以及推薦類似的產(chǎn)品來替代售罄產(chǎn)品的方式來實現(xiàn)快速銷售;他們還能夠?qū)崟r跟蹤正在銷售的產(chǎn)品,通過讓顧客看到哪些產(chǎn)品是真正可供購買的,從而為顧客提供了更好的客戶體驗。

這些技術(shù)的好處顯而易見,那么,為什么現(xiàn)實中真正能把信息實時轉(zhuǎn)化為業(yè)務(wù)優(yōu)勢的企業(yè)并不多?因為大數(shù)據(jù)環(huán)境是非常復(fù)雜的,企業(yè)面臨來自多個實例、多種工具和傳統(tǒng)數(shù)據(jù)庫的挑戰(zhàn)。所有這些都將增加復(fù)雜性和成本,并難以持續(xù)獲取他們所需要的數(shù)據(jù)。

內(nèi)存計算就是其中之一,內(nèi)存計算正在迅速改變企業(yè)處理數(shù)據(jù)的方式。它使用直連內(nèi)存來代替磁盤存儲數(shù)據(jù),這意味著在復(fù)雜海量的數(shù)據(jù)集上查詢數(shù)據(jù)的過程中, CPU指令更少、查找速度更快,性能也大幅提高。過去,處理這些數(shù)據(jù)需要花費數(shù)小時或數(shù)天,而今只需幾分鐘甚至幾秒鐘。業(yè)務(wù)負(fù)責(zé)人可以基于實時信息更快地做出決策,IT部門能夠快速地提供分析和洞察,而不會影響其當(dāng)前的日常運營。數(shù)據(jù)庫管理人員花費更少的時間來遷移和管理數(shù)據(jù),并擁有更多的時間對其進行分析。

例如,SAP HANA利用內(nèi)存計算技術(shù)的優(yōu)勢來實現(xiàn)實時訪問數(shù)據(jù)。它還提供了一個跨越企業(yè)中整個SAP環(huán)境的通用平臺,以簡化數(shù)據(jù)存儲、管理和分析。企業(yè)可以從SAP環(huán)境中獲取更快的實時洞察并做出更好的業(yè)務(wù)決策。

雖然很多企業(yè)希望以這種方式改變IT,但要想實現(xiàn)更快的數(shù)據(jù)分析、一個更可擴展的數(shù)據(jù)倉庫和把所有業(yè)務(wù)應(yīng)用遷移到一個底層數(shù)據(jù)庫的能力,還有很長的路要走。因為企業(yè)IT環(huán)境很可能充滿了復(fù)雜和彼此孤立的傳統(tǒng)數(shù)據(jù)庫。為了實現(xiàn)業(yè)務(wù)目標(biāo),它所需要的不僅僅是內(nèi)存計算軟件。

至關(guān)重要的是,企業(yè)的IT基礎(chǔ)架構(gòu)必須正確匹配所選擇的內(nèi)存數(shù)據(jù)管理軟件。這就是為什么越來越多的IT經(jīng)理和管理人員都在數(shù)據(jù)中心和數(shù)據(jù)管理平臺方面進行長期的戰(zhàn)略性風(fēng)險投資。企業(yè)需要制定正確的戰(zhàn)略和交付模式,并找到適當(dāng)?shù)暮献骰锇?,以在部署過程中最大限度地降低風(fēng)險和對數(shù)據(jù)中心的破壞,并隨著數(shù)據(jù)增長而擴大規(guī)模,同時保持高性能。

以下是企業(yè)在制定戰(zhàn)略遷移計劃時三個要考慮的問題。

問題1 :服務(wù)水平

該解決方案能夠提供關(guān)鍵業(yè)務(wù)的功能和端到端的服務(wù)和支持嗎 ?

當(dāng)企業(yè)要遷移到更高級的工作負(fù)載時,一般是因為有更高級的關(guān)鍵業(yè)務(wù)需求,通常是要求在高端Unix系統(tǒng)上才能看到的性能,包括容錯架構(gòu)、極高的I/O帶寬、自愈分析和自動化。要確保系統(tǒng)達(dá)到這樣的性能要求,以最大限度地降低停機時間并盡快進行災(zāi)難恢復(fù)。例如,硬分區(qū)技術(shù)顯著地提高了系統(tǒng)的可靠性和靈活性。每個硬分區(qū)都有自己獨立的CPU、內(nèi)存和I/O資源,它們都是構(gòu)成該分區(qū)刀片的一部分。它們通過一個容錯交叉開關(guān)被綁定在一起。因此,該系統(tǒng)中任何一個部件的故障不會影響系統(tǒng)的其余部分。在靈活性方面,這些分區(qū)使您能夠在一個系統(tǒng)上運行CRM、ERP和數(shù)據(jù)倉庫等解決方案――這是打造 “實時”企業(yè)的關(guān)鍵一步。

即使擁有內(nèi)置的關(guān)鍵業(yè)務(wù)性能,企業(yè)也最好為系統(tǒng)添加實現(xiàn)快速部署、順利遷移和業(yè)務(wù)連續(xù)性的端到端的服務(wù)。數(shù)據(jù)管理需要7×24全天候的支持,以便能夠主動預(yù)防問題、最大限度地提高系統(tǒng)性能,并提升解決問題的速度。

問題2:性能和規(guī)模

該解決方案能夠滿足我的需求嗎?

為了充分利用企業(yè)的內(nèi)存數(shù)據(jù)管理環(huán)境,還需要能夠滿足高性能和高可用性等內(nèi)存計算需求的、專為應(yīng)用而優(yōu)化的系統(tǒng)。這些系統(tǒng)應(yīng)該具有可擴展的架構(gòu)設(shè)計,輕松實現(xiàn)可擴展性,以保護企業(yè)目前的投資并根據(jù)未來的需求進行擴展。行業(yè)標(biāo)準(zhǔn)是可擴展到6TB。但如果您想真正發(fā)揮HANA的性能,例如在您的最大的商業(yè)應(yīng)用環(huán)境中,不超過4TB或6TB的內(nèi)存計算并不能滿足您的需求。通常許多大型系統(tǒng)是在20TB或30TB的數(shù)據(jù)庫上運行的。當(dāng)企業(yè)開啟大數(shù)據(jù)之旅時,請確保您擁有足夠的可擴展性來應(yīng)對數(shù)據(jù)倉庫環(huán)境。

另外,請記住,不同內(nèi)存之間也是有很大區(qū)別的。有些廠商把內(nèi)存硬塞到硬件之中,造成可用內(nèi)存的極大消耗。請確保系統(tǒng)擁有能夠容納更高RAM的高級芯片。這樣一來,您將能夠高效地使用擴展的存儲空間,并維持較高的性能。

問題3:安全投資

該解決方案將會允許我的內(nèi)存數(shù)據(jù)管理環(huán)境在整個公司里成長和加強嗎?

讓我們面對現(xiàn)實吧!把企業(yè)業(yè)務(wù)應(yīng)用遷移到內(nèi)存數(shù)據(jù)管理環(huán)境既不容易,也不便宜。但是,與繼續(xù)運行反應(yīng)緩慢和彼此孤立的數(shù)據(jù)庫相比,它更具有成本效益。它必將更快地為企業(yè)創(chuàng)造價值。

但是,我們還要注意另外一方面。擁有一個值得信賴、經(jīng)驗豐富的合作伙伴會增加成功率。我們需要一個在部署這類環(huán)境方面擁有豐富經(jīng)驗的供應(yīng)商;需要一個與SAP、微軟或其他大數(shù)據(jù)軟件廠商擁有穩(wěn)固合作關(guān)系的廠商;需要一個已經(jīng)通過認(rèn)證的平臺和業(yè)已證明的基準(zhǔn)性能,這個系統(tǒng)還要擁有企業(yè)所選擇的供應(yīng)商預(yù)認(rèn)證的組件。你希望能看到部署和實現(xiàn)內(nèi)存數(shù)據(jù)管理環(huán)境的多種交付模式 (如內(nèi)部部署、云服務(wù)和托管解決方案),以確定哪種模式最適合企業(yè)業(yè)務(wù)需求。

篇4

高端磁盤陣列2.6倍性能提升 11月6日,在成都首發(fā)的高端企業(yè)級磁盤陣列 DS8700,標(biāo)志著DS8000家族的又一個飛躍。最新的DS8700采用了POWER6芯片,不但可實現(xiàn)2.6倍的性能提升,同時也是業(yè)內(nèi)首款配備了LPAR 技術(shù)的存儲系統(tǒng),實現(xiàn)存儲資源動態(tài)調(diào)配,其容量可擴展至PB級,成為用戶從容迎接海量數(shù)據(jù)時代、架構(gòu)智慧信息架構(gòu)的重要勢能。

“業(yè)務(wù)無中斷”、“全應(yīng)用導(dǎo)向”災(zāi)備 區(qū)別于局部災(zāi)備能力,IBM系統(tǒng)與科技部大中華區(qū)系統(tǒng)存儲部總經(jīng)理侯淼表示,IBM將災(zāi)備作為整合價值發(fā)力點,從用戶的需求和IT基礎(chǔ)架構(gòu)出發(fā),整合存儲、計算、數(shù)據(jù)庫、應(yīng)用、網(wǎng)絡(luò)等各個層次,定制“全應(yīng)用導(dǎo)向整合災(zāi)備方案”。與此同時,還為用戶提供多種業(yè)務(wù)連續(xù)性解決方案Live Demo――光纖鏈路兩地三中心方案容災(zāi)、異構(gòu)平臺容災(zāi)、本地高可用容災(zāi)、分支機構(gòu)容災(zāi)解決方案、數(shù)據(jù)級容災(zāi)、異地 IP 容災(zāi)等多種解決方案,從而讓用戶獲得“業(yè)務(wù)無中斷”、“全應(yīng)用導(dǎo)向”整合災(zāi)備理念的實景體驗。

企業(yè)存儲私有云直入“云”端”最新推出的“IBM 智慧業(yè)務(wù)存儲云”是一款企業(yè)級私有云解決方案,不但可以高性能支持 PB 級數(shù)據(jù)存儲,還全面支持標(biāo)準(zhǔn)文件協(xié)議,開拓了真正意義上的橫向擴展集群模型,幫用戶實現(xiàn)“無論信息存儲何處,均可滿足對云內(nèi)信息的無縫訪問?!?/p>

“智能分級存儲”與“混合工作負(fù)載自動化” 通過配置固態(tài)硬盤與業(yè)界領(lǐng)先的邏輯子卷的自動化管理,IBM將信息根據(jù)策略自動分置在不同的存儲介質(zhì),自動化分級存儲、遷移熱點數(shù)據(jù),自動化分配不同性質(zhì)的存取壓力,讓業(yè)務(wù)響應(yīng)時間提高 3倍,從而實現(xiàn)“智能分級存儲”與“混合工作負(fù)載自動化”創(chuàng)新性解決方案,讓用戶大規(guī)模降低存儲成本。

篇5

關(guān)鍵詞:大數(shù)據(jù)平臺;電網(wǎng)統(tǒng)一數(shù)據(jù)中心;全業(yè)務(wù);數(shù)據(jù)分析域

中圖分類號:TP311 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2016)34-0015-03

稻莘治鲇蚴僑業(yè)務(wù)、全類型、全時間維度電網(wǎng)數(shù)據(jù)的匯集中心,是為電網(wǎng)公司各類分析決策類應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計算能力及統(tǒng)一的運行環(huán)境,改變過去分析型應(yīng)用數(shù)據(jù)反復(fù)提取、冗余存儲的局面,實現(xiàn)“搬數(shù)據(jù)”向“搬計算”的轉(zhuǎn)變,支撐企業(yè)級數(shù)據(jù)分析應(yīng)用的全面開展。

1 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺的作用

基于大數(shù)據(jù)平臺的電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域主要完成ERP、生產(chǎn)、營銷、調(diào)度等核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)的提取清洗、實時采集類、分析決策類相關(guān)應(yīng)用遷移遷移改造;完成統(tǒng)一數(shù)據(jù)模型及主數(shù)據(jù)標(biāo)準(zhǔn)驗證;完成統(tǒng)一分析服務(wù)建設(shè)等工作,建成全業(yè)務(wù)統(tǒng)一數(shù)據(jù)分析域。

2 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺接入的業(yè)務(wù)數(shù)據(jù)

2.1內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入

基于電網(wǎng)公司總部數(shù)據(jù)字典統(tǒng)一梳理成果,以業(yè)務(wù)系統(tǒng)實際情況,結(jié)合統(tǒng)一數(shù)據(jù)分析服務(wù)、采集監(jiān)測與分析決策等問題,遵循統(tǒng)一數(shù)據(jù)集成接口規(guī)范,統(tǒng)一數(shù)據(jù)模型(SG-CIM3.0、數(shù)據(jù)倉庫模型),梳理ERP、財務(wù)管控、營銷業(yè)務(wù)、營銷稽查監(jiān)控系統(tǒng)、營銷檔案管理、營銷移動作業(yè)、一體化繳費接入管理、PMS2.0、OMS、電能質(zhì)量在線監(jiān)測、資產(chǎn)全壽命、省級計量中心生產(chǎn)調(diào)度、供電電壓自動采集、科技與信息化項目管理、項目過程管理、電力市場交易、IMS、TMS、電動汽車智能、干部管理、信息客戶服務(wù)管理、應(yīng)急預(yù)案管理、車輛調(diào)度管理、經(jīng)濟法律、輸變電GPMS、雙流雙控等業(yè)務(wù)系統(tǒng),全量接入數(shù)據(jù)分析域,對于不符合SG-CIM3.0及主數(shù)據(jù)標(biāo)準(zhǔn)的相關(guān)業(yè)務(wù)數(shù)據(jù)進行清洗轉(zhuǎn)換,完成數(shù)據(jù)流轉(zhuǎn)至數(shù)據(jù)倉庫的接口開發(fā),為各類分析應(yīng)用的實現(xiàn)提供完備的數(shù)據(jù)資源。

2.2外部數(shù)據(jù)統(tǒng)一采集

基于大數(shù)據(jù)平臺,根據(jù)大數(shù)據(jù)分析應(yīng)用業(yè)務(wù),完成經(jīng)濟、氣象、征信等外部數(shù)據(jù)采集。

3 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺分析服務(wù)功能設(shè)計

3.1統(tǒng)一分析服務(wù)

基于統(tǒng)一分析服務(wù)功能,開展低電壓實時監(jiān)測、負(fù)荷預(yù)測及防竊電分析、配網(wǎng)故障量監(jiān)測分析、臨時用電超期未辦理合規(guī)性監(jiān)測場景四個應(yīng)用建設(shè)。

3.1.1配電網(wǎng)低電壓實時監(jiān)測

配網(wǎng)低電壓監(jiān)測主要針對目前電網(wǎng)設(shè)備發(fā)生低電壓的程度,從低電壓臺區(qū)和低電壓用戶兩個方面監(jiān)測低電壓的場景研發(fā)。運用數(shù)據(jù)分析域上多源異構(gòu)數(shù)據(jù)集成等數(shù)據(jù)存儲技術(shù),實時計算技術(shù),統(tǒng)計分析出低電壓的區(qū)域分布情況、涉及臺區(qū)情況、低電壓出現(xiàn)頻率等,及時將發(fā)現(xiàn)的問題通知到相關(guān)部門,由相關(guān)部門對低電壓臺區(qū)或用戶進行現(xiàn)場核實,查找出詳細(xì)原因,提出改造措施,消除低電壓情況。

3.1.2用戶側(cè)負(fù)荷預(yù)測及竊電行為分析場景

用戶側(cè)負(fù)荷預(yù)測及竊電行為分析功能可以提取客戶信息、用電量信息、用電負(fù)荷、事件異常等數(shù)據(jù),從用電概況、負(fù)荷預(yù)測分析、負(fù)荷特性分析、防竊電預(yù)警分析等方面,選取相關(guān)性最高的影響因素,利用數(shù)據(jù)挖掘算法構(gòu)建負(fù)荷預(yù)測模型、負(fù)荷特性分析模型、防竊電預(yù)警模型。

3.1.3配網(wǎng)設(shè)備狀態(tài)監(jiān)測分析場景

通過提取設(shè)備臺賬、用電負(fù)荷、用戶檔案等數(shù)據(jù),從配變設(shè)備基本概況、配變故障量預(yù)測分析及配變重過載的深化研究等方面,選取相關(guān)性最高的影響因素,利用數(shù)據(jù)挖掘算法構(gòu)建故障量預(yù)測模型、農(nóng)網(wǎng)配變重過載預(yù)測模型、迎峰度冬重過載預(yù)測模型實現(xiàn)配網(wǎng)設(shè)備狀態(tài)監(jiān)測分析場景。

3.1.4臨時用電超期未辦理合規(guī)性監(jiān)測

通過提取臨時用電數(shù)據(jù),從“退費條件后是否按時退費給用戶”和“轉(zhuǎn)收入條件后是否按時進行轉(zhuǎn)收入”兩個維度,按單位、按月、按異動項目類型,總體展示臨時接電用戶目前總體情況及明細(xì)數(shù)據(jù),并通過提醒、告警等方式監(jiān)測各單位未及時退費項目、未及時轉(zhuǎn)收入項目的情況,提醒相關(guān)人員及時處理,避免造成的合同糾紛或企業(yè)損失,有效提升公司臨時用電業(yè)務(wù)合法性、合規(guī)性。

3.2采集監(jiān)測與分析決策類應(yīng)用遷移改造

3.2.1用電信息采集系統(tǒng)遷移改造

采用分布式消息隊列+分布式流計算方式,完成用電信息采集數(shù)據(jù)訪問接口的設(shè)計開發(fā),實時同步用電信息采集數(shù)據(jù),并基于大數(shù)據(jù)平臺,實現(xiàn)實時采集數(shù)據(jù)的統(tǒng)一對外共享,為用電信息采集系統(tǒng)前端應(yīng)用及營銷業(yè)務(wù)、生產(chǎn)管理等系統(tǒng),提供統(tǒng)一、高效的采集數(shù)據(jù)訪問服提升用電信息采集數(shù)據(jù)的共享服務(wù)能力。

3.2.2輸變電在線監(jiān)測系統(tǒng)遷移改造

通過輸變電狀態(tài)監(jiān)測數(shù)據(jù)在線計算、離線計算等程序設(shè)計研發(fā),同時完成數(shù)據(jù)訪問接口的設(shè)計研發(fā),實現(xiàn)輸變電狀態(tài)監(jiān)測信息的采集和在線處理,為輸變電設(shè)備狀態(tài)監(jiān)測提供靈活可擴展的數(shù)據(jù)存儲和分析能力,實現(xiàn)通過大數(shù)據(jù)平臺,統(tǒng)一對外提供高效的輸變電設(shè)備狀態(tài)采集數(shù)據(jù)服務(wù)。

3.2.3同期線損系統(tǒng)遷移改造

基于數(shù)據(jù)分析域,通過分析線損系統(tǒng)現(xiàn)有大數(shù)據(jù)計算框架與大數(shù)據(jù)平臺技術(shù)路線的差異,開展同期線損系統(tǒng)中電量與線損大數(shù)據(jù)計算區(qū)功能融入大數(shù)據(jù)平臺的研究及開發(fā),將線損系統(tǒng)Cassandra存儲改為HBase存儲,對已實現(xiàn)的電量與線損分布式計算服務(wù)和提供的電量與線損結(jié)果查詢服務(wù)接口進行改造,完成同期線損遷移改造方案、存儲模型設(shè)計,實現(xiàn)線損相關(guān)存儲、計算組件的遷移改造及數(shù)據(jù)遷移。

3.2.4配電網(wǎng)運營分析應(yīng)用遷移改造

利用大數(shù)據(jù)平臺,結(jié)合用電信息采集數(shù)據(jù)遷移,完成配電網(wǎng)運營分析應(yīng)用優(yōu)化改造,優(yōu)化并提升數(shù)據(jù)提取、傳輸以及單體設(shè)備計算能力。結(jié)合配電網(wǎng)運營分析應(yīng)用的數(shù)據(jù)模型成果,基于大數(shù)據(jù)平成數(shù)據(jù)緩沖表、接口表/中間表、計算結(jié)果表的模型設(shè)計。根據(jù)PMS、營銷、調(diào)度等數(shù)據(jù)接入需求,基于大數(shù)據(jù)平臺,完成PMS2.0、營銷業(yè)務(wù)系統(tǒng)檔案數(shù)據(jù)定期同步接口開發(fā),完成調(diào)度數(shù)據(jù)采集及解析程序開發(fā)。

3.3統(tǒng)一數(shù)據(jù)模型與主數(shù)據(jù)標(biāo)準(zhǔn)驗證

基于統(tǒng)一數(shù)據(jù)模型設(shè)計成果,在數(shù)據(jù)分析域上驗證數(shù)據(jù)倉庫模型。結(jié)合數(shù)據(jù)提取清洗及統(tǒng)一分析服務(wù)建設(shè)需求,開展人員組織、財務(wù)、物資、項目、電網(wǎng)、資產(chǎn)、客戶等主題域的數(shù)據(jù)模型的差異性比對,對數(shù)據(jù)倉庫模型進行完善及優(yōu)化。將數(shù)據(jù)倉庫模型部署至數(shù)據(jù)分析域中,并按不同業(yè)務(wù)域模型規(guī)范將ODS的數(shù)據(jù)存放至數(shù)據(jù)倉庫中,支撐分析應(yīng)用場景建設(shè)。

4 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺技術(shù)架構(gòu)

根據(jù)統(tǒng)一數(shù)據(jù)中心總體架構(gòu)設(shè)計,數(shù)據(jù)分析域是全業(yè)務(wù)、全類型、全時間維度數(shù)據(jù)的匯集中心,是為各類分析決策類應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計算能力及統(tǒng)一的運行環(huán)境,改變過去分析型應(yīng)用數(shù)據(jù)反復(fù)提取、冗余存儲的局面,實現(xiàn)“搬數(shù)據(jù)”向“搬計算”的轉(zhuǎn)變,支撐企業(yè)級數(shù)據(jù)分析應(yīng)用的全面開展。

根據(jù)統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)分析域總體架構(gòu)要求,結(jié)合電力數(shù)據(jù)中心、大數(shù)據(jù)平臺的實際建設(shè)情況,設(shè)計電力數(shù)據(jù)分析域系統(tǒng)架構(gòu),包括數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)計算、統(tǒng)一分析服務(wù)、系統(tǒng)管理等5個層次。

平臺通過分布式消息隊列、ETL、Sqoop、API等各種技術(shù)手段,提取結(jié)構(gòu)化非實時數(shù)據(jù)、實時數(shù)據(jù)、外部數(shù)據(jù),對各類數(shù)據(jù)按照統(tǒng)一數(shù)據(jù)規(guī)范進行標(biāo)準(zhǔn)化及關(guān)聯(lián),并按不同時效性的計算及應(yīng)用需求,分類進行數(shù)據(jù)存儲、流轉(zhuǎn)及管理。

5 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺采用的開發(fā)技術(shù)

數(shù)據(jù)分析域的數(shù)據(jù)抽方面取采用大數(shù)據(jù)平臺數(shù)據(jù)加載工具(基于Sqoop優(yōu)化封裝)+文件導(dǎo)入方式。業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)接入ODS區(qū),涉及業(yè)務(wù)系統(tǒng)數(shù)據(jù)提取至緩沖區(qū)、緩沖區(qū)數(shù)據(jù)提取至統(tǒng)一視圖區(qū)。

大數(shù)據(jù)平臺數(shù)據(jù)加載組件,基于Sqoop工具優(yōu)化封裝,支持關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)平臺中的分布式數(shù)據(jù)庫之間的數(shù)據(jù)提取。對于ODS數(shù)據(jù)加載至數(shù)據(jù)倉庫/數(shù)據(jù)集市,采用大數(shù)據(jù)平臺中的數(shù)據(jù)加載組件(基于Sqoop優(yōu)化封裝)。對于ODS緩沖區(qū)、ODS視圖區(qū)、數(shù)據(jù)倉庫、數(shù)據(jù)集市之間的數(shù)據(jù)清洗轉(zhuǎn)換,采用大數(shù)據(jù)平臺數(shù)據(jù)提取組件(基于Kettle優(yōu)化封裝)實現(xiàn)。提取工具(基于Kettle優(yōu)化封裝)基礎(chǔ)功能包括數(shù)據(jù)獲取、數(shù)據(jù)清洗轉(zhuǎn)換、數(shù)據(jù)加載、任務(wù)管理等,支持內(nèi)部所有異構(gòu)系統(tǒng)、多數(shù)據(jù)類型、不同數(shù)據(jù)提取方式的數(shù)據(jù)采集,對多種數(shù)據(jù)庫、套裝軟件、封閉式主機、EAI軟件、文本等數(shù)據(jù)批量提取,實現(xiàn)對數(shù)據(jù)高效提取、傳輸和分發(fā),滿足對數(shù)據(jù)提取和數(shù)據(jù)清洗功能。

電信息等實時類數(shù)據(jù)采集,采用大數(shù)據(jù)平臺消息隊列組件(基于Kafka優(yōu)化封裝)+流計算組件(基于Storm優(yōu)化封裝),實現(xiàn)生產(chǎn)實時數(shù)據(jù)的高效采集、計算和存儲。消息隊列組件(基于Kafka優(yōu)化封裝)用于接收來自前端不同實時源的數(shù)據(jù),后端則采用流計算組件(基于Storm優(yōu)化封裝)技術(shù)對實時數(shù)據(jù)進行保存及分析。

外部數(shù)據(jù)采集主要有3種模式,一是線下手工采集,然后文件導(dǎo)入大數(shù)據(jù)平臺;二是通過外部接口采集;三是通過數(shù)據(jù)爬取程序采集。

數(shù)據(jù)倉庫存采用基于Hadoop HIVE+Impala組件優(yōu)化封裝的分布式數(shù)據(jù)倉庫,存放按業(yè)務(wù)主題進行劃分、歸類的歷史數(shù)據(jù)。數(shù)據(jù)集市的數(shù)據(jù)由數(shù)據(jù)倉庫的數(shù)據(jù)經(jīng)過轉(zhuǎn)換后形成,直接支撐前端的應(yīng)用需求。數(shù)據(jù)集市,采用基于開源PostgreSQL優(yōu)化封裝的分布式關(guān)系型數(shù)據(jù)庫。在數(shù)據(jù)集市應(yīng)用中,對于實時性要求不高的結(jié)果數(shù)據(jù)查詢,將通過訪問PostgreSQL實現(xiàn);對于實時性要求高的即時查詢應(yīng)用,則直接通過Impala訪問HIVE的明細(xì)數(shù)據(jù)。

面向海量規(guī)模的實時采集類數(shù)據(jù),采用基于Hadoop Hbase優(yōu)化封裝,Hbase是基于Hadoop的NoSQL大數(shù)據(jù)平臺分布式列式數(shù)據(jù)庫作為存儲媒介。為大數(shù)據(jù)提供實時的讀/寫操作,能夠利用HDFS的分布式處理模式,并通過MapReduce獲取強大的離線處理或批量處理能力,同時能夠融合key/value存儲模式,以實現(xiàn)實時查詢能力。熱點數(shù)據(jù)存儲在基于Redis優(yōu)化封裝的大數(shù)據(jù)平臺內(nèi)存數(shù)據(jù)庫中,以供快速讀取、應(yīng)用。

分析服務(wù),采用大數(shù)據(jù)平臺自助式分析工具。大數(shù)據(jù)平臺自助式分析工具提供易用、快速、靈活的可視化設(shè)計器和豐富多樣化的可視化控件,結(jié)合數(shù)據(jù)建模的數(shù)據(jù)主題和數(shù)據(jù)挖掘的業(yè)務(wù)挖掘模型,業(yè)務(wù)人員可自定義配置分析界面。

數(shù)據(jù)分析域的系統(tǒng)管理,采用數(shù)據(jù)管理服務(wù)平臺實現(xiàn),根據(jù)各類擴展需求,對數(shù)據(jù)管理服務(wù)平臺進行增強開發(fā),以適應(yīng)統(tǒng)一數(shù)據(jù)中心分析域的系統(tǒng)管理要求。

6 結(jié)束語

通過對大數(shù)據(jù)技術(shù)的研究和應(yīng)用,開發(fā)部署電網(wǎng)統(tǒng)一數(shù)據(jù)中心全業(yè)務(wù)數(shù)據(jù)分析域平臺,能夠有效支撐電網(wǎng)配、變、過載、預(yù)警、分析等場景應(yīng)用,為數(shù)據(jù)分析人員提供數(shù)據(jù)挖掘模型構(gòu)建能力,滿足電網(wǎng)各類業(yè)務(wù)應(yīng)用的大數(shù)據(jù)分析、挖掘需求。

參考文獻(xiàn):

[1] 波,陳乾,眭建新.基于大數(shù)據(jù)技術(shù)的電網(wǎng)運營分析決策系統(tǒng)研究[J].電力信息與通信技術(shù),2015,13(8):128-131.

[2] 王忻.基于大數(shù)據(jù)技術(shù)的電力公司運營系統(tǒng)研究[J].商,2016(4):214-214.

[3] 趙云山,劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J].電力行業(yè)信息化年會,2013(30):57-62.

[4] 段軍紅,張乃丹,趙博,閆曉斌.電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)與應(yīng)用研究[J].電力信息與通信技術(shù),2015,13(2):92-95.

[5] 刁柏青,步萬峰.構(gòu)建集中統(tǒng)一的電網(wǎng)集團數(shù)據(jù)中心[J].電力信息與通信技術(shù),2004,2(10):57-59.

[6] 姚強,楊志武.基于集中數(shù)據(jù)中心的統(tǒng)一數(shù)據(jù)平臺建設(shè)分析[J].內(nèi)蒙古電力技術(shù),2010,28(3):3-5.

篇6

今年是葉成輝提出的EMC中國第二個五年計劃的具有轉(zhuǎn)折性意義的一年,EMC不僅要鞏固第二平臺這個主戰(zhàn)場,而且要向第三平臺這個新市場進行平滑轉(zhuǎn)型,即從傳統(tǒng)數(shù)據(jù)中心市場過渡到軟件定義的數(shù)據(jù)中心市場。如何在轉(zhuǎn)型中繼續(xù)保持增長?EMC不僅需要更多勇氣,而且需要更多智慧和技巧。

增長,還是增長

2012年,IDC提出了“第三平臺”概念。第三平臺建立在移動設(shè)備、云服務(wù)、社交網(wǎng)絡(luò)和大數(shù)據(jù)分析的基礎(chǔ)之上,代表了ICT的發(fā)展方向。與以大型機為代表的第一平臺、以客戶機/服務(wù)器為核心的第二平臺相比,第三平臺帶來了顛覆性的變革,企業(yè)、數(shù)據(jù)中心、IT應(yīng)用與管理都將被軟件重新定義。在這場變革的洪流之中,葉成輝表示,EMC也要重新定義(Redefine)自己。

EMC目前正處于從第二平臺向第三平臺轉(zhuǎn)型的過程之中。其實,第二平臺與第三平臺之間的界線并不是那么絕對,不是說第二平臺關(guān)注的是結(jié)構(gòu)化數(shù)據(jù),而第三平臺關(guān)注的是非結(jié)構(gòu)化數(shù)據(jù)。未來,像特斯拉智能汽車、工業(yè)互聯(lián)網(wǎng)、可穿戴設(shè)備等這樣的新應(yīng)用會越來越多,并部署在第三平臺之上,但仍然會有很多應(yīng)用部署在第二平臺之上。EMC的獨特能力體現(xiàn)在,它可以通過軟件定義的方式,在同一個控制層面管理第二平臺和第三平臺兩種架構(gòu)。

葉成輝表示,轉(zhuǎn)型需要一個過程,而且第二平臺和第三平臺將在很長一段時間內(nèi)并存。在中國,這一轉(zhuǎn)型的過程可能會比美國長。2014年,EMC在中國市場上的發(fā)展思路可以概括為“鞏固和擴大傳統(tǒng)數(shù)據(jù)中心市場份額,引領(lǐng)數(shù)據(jù)中心向云計算、大數(shù)據(jù)轉(zhuǎn)型”。

2013年亮眼的業(yè)績證明,EMC在轉(zhuǎn)向第三平臺的過程中已經(jīng)開了個好頭。葉成輝將EMC在中國市場上的成功經(jīng)驗歸納為以下七個方面。

第一,EMC公司整體發(fā)展方向清晰,戰(zhàn)略正確。在提供信息基礎(chǔ)架構(gòu)解決方案的基礎(chǔ)上,EMC通過與VMware、Pivotal、RSA之間形成的穩(wěn)定“聯(lián)邦”,可以為客戶提供符合云計算、大數(shù)據(jù)需求的解決方案,形成了差異化的競爭優(yōu)勢。

第二,U2VL,即Unix平臺向Virtual Linux平臺的遷移已經(jīng)成為大勢所趨,“x86服務(wù)器+虛擬化”的云計算模式的興起讓EMC獲得了更大增長空間。

第三,數(shù)據(jù)中心架構(gòu)改變,服務(wù)器的采購比重下降,而存儲的花費上升,已占到數(shù)據(jù)中心設(shè)備采購量的50%。這對于EMC最核心的存儲業(yè)務(wù)來說無疑是一個利好因素。

第四,在本地化方面,EMC提前布局,與聯(lián)想、富通、長虹佳華、神州數(shù)碼等多個本地品牌合作。目前,EMC在中國的OEM合作伙伴已經(jīng)有7家,它們對于EMC中國業(yè)績的提升貢獻(xiàn)頗多。

第五,由于外部環(huán)境、企業(yè)自身調(diào)整等原因,EMC的主要競爭對手業(yè)績下滑,這在客觀上給EMC的逆增長提供了可能。

第六,EMC不斷加大在中國二、三線市場的拓展力度。2006年,EMC在中國還只有北京、上海、廣州、深圳四個分公司。從2007年到現(xiàn)在,EMC在中國的分公司又增加了15個,同時來自二、三線市場的收入比例正逐年提高。

第七,EMC總部不斷加大對中國市場的投資力度,比如EMC在中國建立的卓越中心、解決方案中心蓬勃發(fā)展,不僅為中國客戶提供了技術(shù)和解決方案方面的支持,而且很多新產(chǎn)品都是在中國本地研發(fā)的。

轉(zhuǎn)型要平滑

葉成輝表示:“EMC在第二平臺市場上一直保持著領(lǐng)先地位。在外部存儲、存儲軟件、企業(yè)級閃存、備份、融合架構(gòu)等細(xì)分市場上,EMC的市場占有率都保持第一。”但是從第二平臺轉(zhuǎn)戰(zhàn)第三平臺,EMC還有許多新的戰(zhàn)役要打,比如對象存儲、軟件定義的存儲、下一代文件協(xié)作、第三平臺開發(fā)工具和分析工具等,都將是EMC重要的突破點。

從第二平臺到第三平臺,這中間需要一座橋梁。對于EMC來說,這座橋梁就是由EMC、VMware、RSA和Pivotal組成的“聯(lián)邦”。EMC可以提供軟件定義的存儲,VMware專注于軟件定義的數(shù)據(jù)中心,Pivotal則關(guān)注軟件定義的企業(yè),RSA提供了貫穿整個軟件定義架構(gòu)的安全保障。這個“聯(lián)邦”的穩(wěn)定、協(xié)調(diào)發(fā)展對于EMC在第三平臺上取得成功至關(guān)重要。

EMC公司CEO喬·圖斯曾幾次推遲退休時間,一個很重要的原因就是他要繼續(xù)鞏固這個“聯(lián)邦”。未來,這個獨特的“聯(lián)邦”如何制定和執(zhí)行統(tǒng)一的戰(zhàn)略;如何找到一種最適合的運營模式,既保持各公司的獨立,又能相互協(xié)作;如何實現(xiàn)高度的共識……這些都是喬·圖斯肩負(fù)的歷史使命。

為了更好地實現(xiàn)向第三平臺的轉(zhuǎn)型,EMC加強了收購和自主創(chuàng)新,比如收購了閃存廠商XtreamIO,了軟件定義的存儲平臺ViPR,加強了融合解決方案的推廣等。從IDC公布的數(shù)據(jù)看,EMC VSPEX和VCE Vblock都占據(jù)了各自細(xì)分市場的幾乎半壁江山?!拔磥鞥MC的收購重點將集中在第三平臺領(lǐng)域,而軟件定義存儲、大數(shù)據(jù)、云架構(gòu)咨詢服務(wù)、融合解決方案等將是推廣的重點?!比~成輝透露說,“在今年5月舉行的EMC World大會上,我們將更多第三平臺的產(chǎn)品。”

葉成輝認(rèn)為,2014年中國IT市場將回暖,特別是云計算、大數(shù)據(jù)市場的增長將更加快速。IDC預(yù)測,中國公有云市場規(guī)模將于2017年達(dá)到26.49億美元,而中國企業(yè)級移動應(yīng)用市場也將在2015年達(dá)到建設(shè)的高峰期。這讓葉成輝有信心帶領(lǐng)中國團隊從第二平臺向第三平臺進行平滑過渡。

從一個存儲硬件廠商慢慢轉(zhuǎn)變?yōu)樾畔⒒A(chǔ)架構(gòu)解決方案提供商,到今天,EMC順應(yīng)第三平臺的發(fā)展趨勢,積極地向云計算、大數(shù)據(jù)廠商轉(zhuǎn)型。葉成輝表示:“EMC從第二平臺走向第三平臺不可能一蹴而就,也不意味著EMC將放棄存儲等原來的核心業(yè)務(wù),相反會在原來的基礎(chǔ)之上面向云計算、大數(shù)據(jù)進行更大膽的創(chuàng)新,提供新的、更全面的解決方案?!?/p>

存儲市場復(fù)蘇

不僅IDC預(yù)測從2014年起存儲市場將反彈,葉成輝也十分肯定地認(rèn)為,2014年存儲市場將重新回歸增長的主旋律。去年,在云計算、大數(shù)據(jù)、移動互聯(lián)等新思潮的不斷沖擊下,IT市場乃至整個社會生活都發(fā)生了巨變,而許多企業(yè)的管理者和決策者在還沒有看清楚未來云計算、大數(shù)據(jù)的發(fā)展方向時,不敢貿(mào)然行動,因此在IT投資和建設(shè)方面采取了“維穩(wěn)”的策略。

篇7

美團的數(shù)據(jù)夢想

美團云(Meituan Open Services, MOS)是美團推出的公有云平臺,致力于為千萬用戶提供最穩(wěn)定、可靠、高效的基礎(chǔ)設(shè)施云服務(wù)以及大數(shù)據(jù)解決方案。2013年5月,美團云正式對外開放計算資源。公有云推出初期就引發(fā)了行業(yè)內(nèi)巨大的關(guān)注,資源很快售罄。同年7月,美團全業(yè)務(wù)實現(xiàn)向云平臺的完整遷移和部署。美團云目前全面支撐美團業(yè)務(wù),網(wǎng)絡(luò)流量已經(jīng)達(dá)到了500T/天,承載超過兩億用戶的高并發(fā)訪問量,支持Web端和App端多業(yè)務(wù)類型,美團云的穩(wěn)定性、可信性,經(jīng)過了大規(guī)模商業(yè)實踐的驗證。

2015年3月,美團云獲得IDC牌照,8月對外開放首個高品質(zhì)的自建機房。同時,可信云服務(wù)大會上,美團云正式通過可信云服務(wù)認(rèn)證,在各項云服務(wù)指標(biāo)的完備性和規(guī)范性方面得到了業(yè)內(nèi)的認(rèn)可,并憑借各項優(yōu)勢獨攬“電商云服務(wù)獎”。目前,美團云的服務(wù)范圍覆蓋O2O生活服務(wù)提供商、在線教育、知名電商、互聯(lián)網(wǎng)金融、智能硬件、新媒體、汽車等。隨著獲得了可信云服務(wù)認(rèn)證,美團云也將繼續(xù)依靠強大的技術(shù)團隊,不斷優(yōu)化產(chǎn)品,注重用戶體驗,為更多企業(yè)級用戶提供最優(yōu)的底層架構(gòu)以及穩(wěn)定的網(wǎng)絡(luò)服務(wù)。

據(jù)悉,截止到目前,美團的年度活躍買家數(shù)達(dá)1.3億,合作商家超過160萬戶,預(yù)計2015年全年交易額將超過1000億元。

美團龐大的數(shù)據(jù)量驅(qū)動了美團云大數(shù)據(jù)分析服務(wù)的“大夢想”。美團云CTO李爽談到,美團云軟硬一體的解決方案完全基于開源Hadoop解決方案,降低上手成本,萬兆網(wǎng)絡(luò)互聯(lián)、支持Native Client和Rest API。此外,李爽還介紹了美團云經(jīng)典BI產(chǎn)品:客戶洞察和在線推薦??蛻舳床焱ㄟ^觀察、了解客戶,將采集到的客戶數(shù)據(jù)轉(zhuǎn)化為所需的信息。在線推薦則是在線推薦篩選目標(biāo)客戶,生成靜態(tài)名單、營銷信息和接觸信息。同時,他還舉例了中傳與美團攜手同闖“互聯(lián)網(wǎng)+”的例子。最后,李爽總結(jié)了美團在大數(shù)據(jù)方面的經(jīng)驗,并展示了美團云的數(shù)據(jù)平臺、業(yè)務(wù)架構(gòu)和分析平臺。 “美團云致力為千萬用戶提供穩(wěn)定的公有云服務(wù)及大數(shù)據(jù)解決方案,通過打造更加穩(wěn)定、高效和創(chuàng)新活力的新一代公有云平臺,我們很高興和華為在云數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域展開全面和良好的合作,并將雙方的創(chuàng)新成果成功商用。我們期待這些創(chuàng)新能提升網(wǎng)絡(luò)運營效率,進一步提升用戶體驗,為我們的客戶創(chuàng)造更多價值!”目前,美團云正在和更多的企業(yè)合作,拓展大數(shù)據(jù)解決方案?!?/p>

攜手華為 深耕云計算網(wǎng)絡(luò)

隨著美團網(wǎng)云化業(yè)務(wù)的爆發(fā)式增長,網(wǎng)絡(luò)規(guī)模不斷擴大,如何構(gòu)建適應(yīng)未來業(yè)務(wù)增長的云計算網(wǎng)絡(luò)?如何持續(xù)提升業(yè)務(wù)上線效率,縮短上線周期?如何簡化網(wǎng)絡(luò)運維,降低運維成本,同時釋放服務(wù)器能力?如何保證美團在線業(yè)務(wù)安全永續(xù)運營等幾大問題,成為美團網(wǎng)建設(shè)的核心訴求。

“華為與美團在云數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域有著深入且良好的合作,本次美團云成功部署華為敏捷數(shù)據(jù)中心SDN方案,有效地支撐其戰(zhàn)略及業(yè)務(wù)的發(fā)展需求,在業(yè)界也具有重要的里程碑意義?!?華為交換機與企業(yè)通信產(chǎn)品線總裁劉少偉表示,“作為全球領(lǐng)先的信息與通信解決方案供應(yīng)商,華為圍繞客戶的需求持續(xù)創(chuàng)新,與合作伙伴開放合作,在企業(yè)網(wǎng)絡(luò)領(lǐng)域為客戶提供有競爭力的解決方案和服務(wù),持續(xù)提升客戶體驗,為客戶創(chuàng)造最大價值?!?/p>

同時,華為企業(yè)BG網(wǎng)絡(luò)產(chǎn)品總工Mark Wu表示:“此次美團云部署的華為CE12800數(shù)據(jù)中心交換機以及敏捷控制器Agile Controller,旨在為客戶打造彈性、簡單、開放的云數(shù)據(jù)中心網(wǎng)絡(luò),讓網(wǎng)絡(luò)更敏捷地為業(yè)務(wù)服務(wù),幫助美團云連接云計算未來?!?/p>

詳細(xì)解讀SDN商用網(wǎng)絡(luò)

為了構(gòu)建適應(yīng)未來業(yè)務(wù)發(fā)展的云計算網(wǎng)絡(luò),實現(xiàn)美團云 “穩(wěn)定提升價值”的理念目標(biāo),美團與華為在SDN領(lǐng)域展開戰(zhàn)略合作,攜手共建面向云數(shù)據(jù)中心的SDN商用網(wǎng)絡(luò)。

■SDN實現(xiàn)租戶網(wǎng)絡(luò)自動化,加速美團云業(yè)務(wù)部署

華為敏捷控制器Agile Controller兼容ODL開放架構(gòu),通過3類接口、40個API和美團云深度對接,協(xié)同美團云平臺實現(xiàn)業(yè)務(wù)快速發(fā)放,實現(xiàn)了租戶網(wǎng)絡(luò)自動化,加速美團云業(yè)務(wù)部署。

■硬件VXLAN構(gòu)建多租戶網(wǎng)絡(luò),服務(wù)器性能提升2倍

美團云部署華為基于硬件VXLAN方案,把支持租戶的數(shù)量由4K擴充到16M,以適應(yīng)業(yè)務(wù)爆發(fā)式增長;同時通過CloudEngine交換機采用硬件VXLAN構(gòu)建多租戶網(wǎng)絡(luò),實現(xiàn)租戶間的隔離,服務(wù)器性能提升2倍;另外,硬件VXLAN方式支持異構(gòu)多虛擬計算平臺,相對軟件方式有很好的兼容性。

■端到端業(yè)務(wù)路徑可視,實現(xiàn)租戶網(wǎng)絡(luò)精細(xì)化運維

華為Agile Controller敏捷控制器與CloudEngine交換機配合,打破overlay網(wǎng)絡(luò)中虛擬網(wǎng)絡(luò)的運維黑盒,由Agile Controller構(gòu)造下發(fā)探測報文,網(wǎng)絡(luò)轉(zhuǎn)發(fā)節(jié)點逐跳上送路徑信息,實現(xiàn)VM層面的轉(zhuǎn)發(fā)路徑可視,物理和虛擬網(wǎng)絡(luò)統(tǒng)一運維。

■業(yè)界最佳的“雙”平面擴展能力,支撐業(yè)務(wù)爆發(fā)性增長

在控制面,華為Agile Controller敏捷控制器支持業(yè)界最大的1:64彈性集群,支持業(yè)務(wù)無損升級;在轉(zhuǎn)發(fā)面,全球最高性能的CE12800數(shù)據(jù)中心核心交換機,支持160Tbps交換容量,單線卡支持3.6Tbps的交換能力,是業(yè)界水平的3倍;線卡支持100ms超大緩存,滿足大數(shù)據(jù)業(yè)務(wù)需求;整機支持平滑演進,滿足美團云數(shù)據(jù)中心5-10年業(yè)務(wù)發(fā)展需求。

■業(yè)界最強的抗攻擊防護方案,保護業(yè)務(wù)可用性

篇8

浪潮AS10000

在數(shù)字圖書館的應(yīng)用

傳統(tǒng)圖書館作為信息擁有者與提供者的圖書文獻(xiàn)機構(gòu),面臨著自動化、數(shù)字化、網(wǎng)絡(luò)化的挑戰(zhàn),需要不斷地調(diào)整收藏結(jié)構(gòu)和服務(wù)方式來適應(yīng)信息社會的需求。全面實現(xiàn)海量電子圖書資料存儲、分布式信息存取和共享的數(shù)字圖書館應(yīng)運而生。

數(shù)字圖書館是用數(shù)字技術(shù)處理和存儲各種圖文并茂文獻(xiàn)的圖書館,實質(zhì)上是一種多媒體制作的分布式信息系統(tǒng)。它把各種不同載體、不同地理位置的信息資源用數(shù)字技術(shù)存儲,以便于跨越區(qū)域、面向?qū)ο蟮木W(wǎng)絡(luò)查詢和傳播。它涉及信息資源加工、存儲、檢索、傳輸和利用的全過程。通俗地說,數(shù)字圖書館就是虛擬的、沒有圍墻的圖書館,是基于網(wǎng)絡(luò)環(huán)境下共建共享的可擴展的知識網(wǎng)絡(luò)系統(tǒng),是超大規(guī)模的、分布式的、便于使用的、沒有時空限制的、可以實現(xiàn)跨庫無縫鏈接與智能檢索的知識中心。

數(shù)字圖書館需要大量的磁、光、電等新型存儲媒介來存儲文本、圖像、聲音、動畫、影視作品等文獻(xiàn)信息資源的數(shù)字化信息。海量數(shù)據(jù)信息的存儲和管理是數(shù)字圖書館的顯著特征之一。明確存儲需求是規(guī)劃存儲方案的前提,數(shù)字圖書館數(shù)據(jù)信息資源的種類、數(shù)量、性質(zhì)及用戶利用的方式、用戶的多少等,對分析存儲系統(tǒng)的容量、性能、傳輸速度、可靠性等方面的要求起決定性的作用。

數(shù)字圖書館具有系統(tǒng)用戶數(shù)量龐大,并發(fā)存取海量數(shù)據(jù)及業(yè)務(wù)類型多的特點。如何在復(fù)雜、多變的環(huán)境中提高基礎(chǔ)設(shè)施資源的利用率和數(shù)據(jù)庫用戶訪問效率,確保安全、高效、準(zhǔn)確、全面地存取數(shù)據(jù),是圖書館存儲方案設(shè)計考慮的重點因素。

多種數(shù)據(jù)信息資源對重要性、安全性、再生性、讀寫性能、更新升級特性及保存時效性等有不同的要求。大文件的連續(xù)讀寫、要求帶寬性能高。小文件隨機讀寫,要求處理器的I/O性能,如數(shù)字期刊、數(shù)字圖書等,這里資源訪問頻率很高,下載流量也比較大,對存儲系統(tǒng)的IOPS要求很高。而采用關(guān)系型或非關(guān)系型數(shù)據(jù)庫形式存儲的數(shù)據(jù)庫資源,是基于塊級的存儲,對這類資源的訪問頻率很高,需要頻繁地傳輸數(shù)據(jù)塊,因此,也要求存儲系統(tǒng)有較高的讀寫帶寬。對于多媒體資源的訪問頻率雖然不高,但讀寫數(shù)據(jù)流量非常大,也需要很好的傳輸性能。一個數(shù)字圖書館的數(shù)據(jù)信息種類繁多,形式復(fù)雜多樣,數(shù)據(jù)的重要性程度不一,數(shù)據(jù)訪問方式各異,因此數(shù)據(jù)信息的管理難度很高。數(shù)字圖書館的服務(wù)是全天候不間斷的服務(wù),尤其對那些關(guān)鍵數(shù)據(jù)的安全穩(wěn)定性有相當(dāng)高的要求,因此建立一個滿足存儲需求、運行穩(wěn)定可靠的存儲系統(tǒng)是數(shù)字圖書館建設(shè)的基本要求。

本方案基于浪潮海量存儲系統(tǒng)AS10000構(gòu)建數(shù)字圖書館業(yè)務(wù)系統(tǒng)。保存關(guān)鍵數(shù)據(jù)的圖書館自動化管理服務(wù)器和數(shù)據(jù)量增長較快的應(yīng)用服務(wù)器,如鏡像數(shù)據(jù)服務(wù)器、電子圖書服務(wù)器、VOD服務(wù)器、FTP服務(wù)器、資源數(shù)據(jù)庫服務(wù)器等將其接入FC-SAN體系,在保證高速I/O通信帶寬的前提下由AS10000提供海量的數(shù)據(jù)存儲空間。

浪潮AS10000產(chǎn)品是國內(nèi)率先研制成功的多控制器和全交換體系結(jié)構(gòu)的存儲系統(tǒng),使我國在高端存儲領(lǐng)域?qū)崿F(xiàn)從無到有的零突破,這一創(chuàng)新成果打破了國外廠商長期以來在高端存儲系統(tǒng)方面的市場和技術(shù)壟斷地位。AS10000存儲系統(tǒng)采用scale-out橫向擴展的存儲架構(gòu),有效保證了存儲系統(tǒng)對于容量、性能的橫向擴展需求,其最大容量支持64PB海量存儲空間;其海量的存儲空間、大規(guī)模部署能力,提供了超高的并發(fā)訪問能力,聚合帶寬達(dá)到60GB/s,可同時支持6000并發(fā)訪問,滿足數(shù)字圖書館的復(fù)雜應(yīng)用需求。

AS10000產(chǎn)品作為一個款高端存儲系統(tǒng),其所支持的應(yīng)用系統(tǒng)要求具備更高的數(shù)據(jù)可靠性以及存儲設(shè)備的可用性,必須在存儲系統(tǒng)的內(nèi)部實現(xiàn)更多的可靠性設(shè)計。為此研究并實現(xiàn)了部件和交換組件的冗余容錯技術(shù),實現(xiàn)了對控制器、磁盤、風(fēng)扇等物理部件在線維護的支持,采用了多層級的心跳協(xié)議、故障監(jiān)測、故障判斷、故障隔離,實現(xiàn)了對多控制器之間服務(wù)自動切換的支持,從而在處理和存儲的控制器層面保證了系統(tǒng)可靠性、可用性、可擴展性,滿足了數(shù)字圖書館的可靠性需求。

浪潮AS8000實現(xiàn)統(tǒng)一管理

隨著信息技術(shù)的不斷發(fā)展,云計算、大數(shù)據(jù)、虛擬化等技術(shù)改變了傳統(tǒng)IT的應(yīng)用模式,基于虛擬化技術(shù)的存儲系統(tǒng)逐漸成為前端復(fù)雜應(yīng)用的支撐平臺。如何保障數(shù)據(jù)安全,并且將遷移對主機業(yè)務(wù)的影響降到最低是我們在數(shù)據(jù)遷移過程中不得不考慮的問題。

數(shù)據(jù)遷移的方案多種多樣,主要包括以下三種。

(1)基于主機的數(shù)據(jù)遷移:這種數(shù)據(jù)遷移模式不依賴于存儲設(shè)備品牌、架構(gòu),但與操作系統(tǒng)、應(yīng)用相關(guān),需要在系統(tǒng)和應(yīng)用層面作大量工作,如果采用第三方軟件,一般需要購買license。除此之外,該種方案會大大占用主機資源,影響業(yè)務(wù)的正常運轉(zhuǎn)。

(2)基于存儲設(shè)備自身功能的數(shù)據(jù)遷移:要求遷移的源存儲和目的存儲為同一廠商的同構(gòu)存儲,需要購買數(shù)據(jù)復(fù)制license,所以該方案局限性大。

(3)磁帶備份/恢復(fù):備份/恢復(fù)的數(shù)據(jù)不但速率慢,需要停機時間長,而且在系統(tǒng)和應(yīng)用層面的工作量大、可靠性低,該方案適用于小數(shù)據(jù)量的移植。

以上遷移方案雖然能夠達(dá)到最終目的,但是綜合考慮遷移過程復(fù)雜性、耗費時間、對業(yè)務(wù)影響程度等問題,顯然已經(jīng)不再是我們的首選?;诖鎯μ摂M化技術(shù)來實現(xiàn)數(shù)據(jù)遷移將會帶來更多驚喜。

具有虛擬化功能的存儲系統(tǒng),在實現(xiàn)后端存儲統(tǒng)一池化管理的基礎(chǔ)上,還可提供透明管理的功能,再結(jié)合卷鏡像功能,實現(xiàn)在不影響業(yè)務(wù)正常運行的情況下,無縫將數(shù)據(jù)遷移到虛擬化存儲設(shè)備中。

篇9

華為IT云計算產(chǎn)品線總裁任志鵬在云計算大會上公布了一組令人振奮的數(shù)據(jù):截至2013年6月底,華為云計算已經(jīng)服務(wù)于全球40多個國家和地區(qū)的超過250家客戶,覆蓋政府及公共事業(yè)、電信、能源、金融、媒資、制造等眾多行業(yè)。華為FusionCloud云計算解決方案成了華為“融合”戰(zhàn)略落地的一面旗幟。任志鵬表示:“雖然我們能夠為用戶提供端到端的云計算解決方案,但我們始終堅守一個底線:數(shù)據(jù)中心基礎(chǔ)架構(gòu)?!?/p>

向大數(shù)據(jù)領(lǐng)域延展

華為FusionCloud能實現(xiàn)異構(gòu)硬件資源池的融合,將計算、存儲、網(wǎng)絡(luò)融合在一起,并且針對企業(yè)IT的不同場景,提供彈性、自動化的基礎(chǔ)設(shè)施。華為FusionCloud主要包括三個產(chǎn)品:華為云操作系統(tǒng)FusionSphere,它可以提供完整的水平整合和云化企業(yè)異構(gòu)IT基礎(chǔ)設(shè)施的能力,提升企業(yè)IT效率和業(yè)務(wù)敏捷度;華為FusionCube是將計算、存儲和網(wǎng)絡(luò)融為一體的一體機解決方案,大幅縮短業(yè)務(wù)上線時間,并成倍提升系統(tǒng)的性能;華為FusionAccess是一款桌面云軟件,它與FusionSphere以及華為的IT硬件組成了桌面云解決方案。

在本次云計算大會上,華為了企業(yè)級大數(shù)據(jù)分析平臺FusionInsight 1.0,將華為云計算的觸角延伸至大數(shù)據(jù)領(lǐng)域。FusionInsight 1.0實際上就是一個Hadoop的商業(yè)發(fā)行版。據(jù)任志鵬介紹,F(xiàn)usionInsight是業(yè)內(nèi)首個能夠支持1000km異地容災(zāi)的大數(shù)據(jù)分析平臺,通過對企業(yè)內(nèi)部和外部的海量信息進行實時和非實時的分析挖掘,可幫助企業(yè)發(fā)現(xiàn)新的價值點和商機。基于FusionInsight 1.0,華為已經(jīng)開發(fā)出針對金融和電信客戶的解決方案,針對其他行業(yè)的解決方案正在研發(fā)之中。

鍛造云操作系統(tǒng)

FusionSphere云操作系統(tǒng)是華為FusionCloud云計算解決方案的基礎(chǔ)與核心。據(jù)任志鵬透露,全球已有超過50萬個虛擬機(VM)運行在華為FusionSphere平臺之上。華為FusionSphere除了具有高可靠、高性能等特征以外,其最大的特色就是開放性,比如FusionSphere可以管理不同廠商的虛擬機。

在本次云計算大會上,華為宣布FusionSphere已升級至3.0版。在FusionSphere的研發(fā)上,華為與英特爾展開了深入合作,比如在性能方面,F(xiàn)usionSphere通過英特爾NUMA技術(shù)實現(xiàn)了虛擬機內(nèi)存訪問效率及虛擬機性能的有效提升,在SPECvirt_sc2010測試中獲得了4687分的優(yōu)異成績;在可靠性方面,華為與英特爾合作開發(fā)的COLO方案作為FusionSphere的Fault Tolerance (容錯)技術(shù),可支持單核和多核CPU的虛擬機熱備,同時減少主備同步的開銷及性能開銷,提升了系統(tǒng)的可靠性及恢復(fù)能力;在兼容性方面,華為利用英特爾FlexMigrate技術(shù)可以在同廠商不同型號的CPU之間實現(xiàn)虛擬機的異構(gòu)熱遷移。

在本次云計算大會上,華為推出了FusionCube 2.0。任志鵬表示:“FusionCube 2.0是將計算、存儲、網(wǎng)絡(luò)、管理深度融合的云基礎(chǔ)設(shè)施一體機,它大大縮短了部署時間,采用分布式存儲技術(shù),可以有效消除I/O性能瓶頸,其處理能力超傳統(tǒng)小型機10倍,堪稱最佳的小型機替換平臺?!?/p>

篇10

這三家看似毫無關(guān)聯(lián)的廠商,卻被英特爾投資聯(lián)系到了一起,他們惟一的共同點是云計算。

2014年2月18日,作為英特爾公司的全球投資與收購兼并機構(gòu),英特爾投資高調(diào)宣布,注資上海一鋪信息科技有限公司,并與天津中科藍(lán)鯨信息技術(shù)有限公司及無錫華云數(shù)據(jù)技術(shù)服務(wù)有限公司簽署注資協(xié)議。

“英特爾投資希望通過這些新投資項目,進一步推動本土云計算及大數(shù)據(jù)的技術(shù)與商業(yè)創(chuàng)新。”英特爾投資中國區(qū)董事總經(jīng)理許盛淵表示,在2014年,英特爾投資的重點將圍繞云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動計算及可穿戴設(shè)備等領(lǐng)域――這無疑為無數(shù)初創(chuàng)企業(yè)帶來了福音。

深入生態(tài)鏈

近年來,無論是行業(yè)還是資本市場都非常關(guān)注云計算企業(yè)。在IDC預(yù)測的2014年9大賺錢科技趨勢中,云計算仍然榜上有名。根據(jù)IDC預(yù)計,2014年全球云計算開支將達(dá)到1000億美元,相比2013年增幅超過25%;大數(shù)據(jù)技術(shù)和服務(wù)也將在2014年實現(xiàn)30%的高速增長,總額超過140億美元。

高增長前景和廣闊的市場,使各種新興云計算企業(yè)成為英特爾、微軟這等大佬競相爭搶的對象,無論是英特爾云計算創(chuàng)新中心,還是微軟云加速器,都意在扶植各自的中國創(chuàng)新生態(tài)鏈。而英特爾投資便充當(dāng)了英特爾公司的耳和眼。

進入中國15年,英特爾投資已經(jīng)向超過110家中國公司投資了超過6.7億美金,不僅有力推動了本土市場的成長,也在完善生態(tài)系統(tǒng)建設(shè)、助推產(chǎn)業(yè)變革中扮演了推動者的角色。2013年,英特爾投資被多家機構(gòu)評為的全球第一機構(gòu)投資者(Corporate VC),而在國內(nèi)的風(fēng)險投資基金中,英特爾投資也名列前茅。

在許盛淵看來,中科藍(lán)鯨和華云數(shù)據(jù)都是云計算領(lǐng)域的優(yōu)先代表,在云計算行業(yè)中扮演著重要的角色,而上海一鋪科技在大數(shù)據(jù)、移動互聯(lián)網(wǎng)以及移動互聯(lián)網(wǎng)銷售解決方案領(lǐng)域有著豐富的經(jīng)驗?!俺速Y金的支持,我們也會找其他的方法幫助被投資公司的發(fā)展,例如技術(shù)和市場的支持?!痹S盛淵說。而英特爾中國云計算創(chuàng)新中心就是最好的資源。

2013年4月,英特爾全球首個云計算創(chuàng)新中心落戶中國北京。在這里,英特爾工程師將幫助合作伙伴驗證和優(yōu)化其解決方案,與軟硬件開發(fā)商合作伙伴一起加速云計算、大數(shù)據(jù)解決方案相關(guān)的創(chuàng)新和實施進程?!叭绻麑⒃朴嬎闫髽I(yè)比喻成造車的,我們則打造了一條最高科技的賽道。云計算創(chuàng)新中心整合了基于英特爾架構(gòu)的最先進IT技術(shù)和解決方案,代表了英特爾乃至整個行業(yè)的最高技術(shù)水平?!庇⑻貭栔袊鴶?shù)據(jù)中心及云計算業(yè)務(wù)產(chǎn)品市場總監(jiān)賀曉東介紹。

拉動市場需求

借助于云與大數(shù)據(jù)的生態(tài)系統(tǒng),英特爾近幾年在數(shù)據(jù)中心領(lǐng)域?qū)崿F(xiàn)了跨越式的高速增長。根據(jù)英特爾公司2013年度財報顯示,其2013全年收入達(dá)527億美元,其中凈收入96億美元。這很大一部分歸功于英特爾芯片所覆蓋的廣泛計算平臺。

IDC數(shù)據(jù)顯示,大數(shù)據(jù)技術(shù)和服務(wù)市場的規(guī)模將于2017年達(dá)到324億美元,這一增長的主要驅(qū)動力便來自于構(gòu)成物聯(lián)網(wǎng)的聯(lián)網(wǎng)設(shè)備所產(chǎn)生的海量數(shù)據(jù)。據(jù)估計,到2020年,聯(lián)網(wǎng)設(shè)備的數(shù)量將會增加到300億臺。

有數(shù)據(jù)、有計算的地方就有英特爾。作為貫穿大數(shù)據(jù)裂變各個環(huán)節(jié)的廠商,無論是數(shù)據(jù)產(chǎn)生和采集的設(shè)備、數(shù)據(jù)分析和處理的過程,以及數(shù)據(jù)應(yīng)用的場景,為了適應(yīng)對計算能力越來越高的要求,英特爾也在做著轉(zhuǎn)變。

上海一鋪、中科藍(lán)鯨和華云數(shù)據(jù)這三家公司之間的聯(lián)系,不僅是云計算、大數(shù)據(jù),他們可能會發(fā)生更深層次的化學(xué)作用。而在被英特爾投資相中的其他公司中,也不乏很多相互之間能夠產(chǎn)生合力的企業(yè),他們甚至可以構(gòu)成一個完整的產(chǎn)業(yè)鏈。

“大數(shù)據(jù)和云計算都是個很龐大的范疇,不是每一個點都需要英特爾自己來做,我們需要合作伙伴來幫我們產(chǎn)品化,幫我們找客戶。而英特爾投資的任務(wù),就是拉動市場對公司的核心業(yè)務(wù)的需求?!痹谠S盛淵看來,在中國,打造生態(tài)圈是英特爾投資達(dá)到使命的最快路徑。

由于云計算與大數(shù)據(jù)的火熱,每天幾乎有大量貼著大數(shù)據(jù)標(biāo)簽的公司找上門來,如何從中淘到你所需要的那一個,是許盛淵和其他投資經(jīng)理的最大挑戰(zhàn)。