|
2015年10月國(guó)務(wù)院正式印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,是我國(guó)促進(jìn)大數(shù)據(jù)發(fā)展的第一份權(quán)威性、系統(tǒng)性文件,從國(guó)家大數(shù)據(jù)發(fā)展戰(zhàn)略全局的高度,提出了我國(guó)大數(shù)據(jù)發(fā)展的頂層設(shè)計(jì)和總體部署,是指導(dǎo)我國(guó)未來(lái)大數(shù)據(jù)發(fā)展的綱領(lǐng)性文件。國(guó)際數(shù)據(jù)資訊公司IDC預(yù)計(jì)2020年全球數(shù)據(jù)量將達(dá)到35ZB的體量,其中20%將在中國(guó)產(chǎn)生。可以預(yù)見(jiàn)大數(shù)據(jù)的發(fā)展對(duì)各行各業(yè)的推進(jìn)以及人們認(rèn)識(shí)事物的方式都將產(chǎn)生深遠(yuǎn)的影響,越來(lái)越多的國(guó)家、研究機(jī)構(gòu)都認(rèn)識(shí)到,大數(shù)據(jù)蘊(yùn)藏費(fèi)巨大的價(jià)值和潛力。 海洋地理信息系統(tǒng)MGIS是指海底、海面、水體、海岸帶及海上大氣等自然環(huán)境與人類活動(dòng)為研究對(duì)象的海洋領(lǐng)域研究的工具和工作平臺(tái),對(duì)多種海洋空間數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、整合、處理和管理,為平臺(tái)使用者提供空間分析、模擬預(yù)測(cè)、可視化表達(dá)以及決策輔助等服務(wù)。為更好適應(yīng)海洋數(shù)據(jù)爆炸式增長(zhǎng),實(shí)現(xiàn)海洋數(shù)據(jù)的實(shí)時(shí)共享,MGIS已與web技術(shù)緊密結(jié)合,為用戶提供快速便捷的數(shù)據(jù)服務(wù)。大數(shù)據(jù)的認(rèn)知方式有別于傳統(tǒng)思維,大數(shù)據(jù)是以“全面而非抽樣”“效率而非精確”“相關(guān)而非因果”的理念解決問(wèn)題。海洋信息化是國(guó)家信息化的重要組成部分,充分利用大數(shù)據(jù),挖掘海洋大數(shù)據(jù)對(duì)國(guó)計(jì)民生的最大價(jià)值,是海洋信息化戰(zhàn)略努力的方向。而海洋地理信息系統(tǒng)作為海洋數(shù)據(jù)管理、處理分析和共享的有力工具和平臺(tái),將大數(shù)據(jù)關(guān)鍵技術(shù)“分布式存儲(chǔ)”和“分布式處理”應(yīng)用MGIS平臺(tái),打造全時(shí)、全信息、高效率的海洋地理信息平臺(tái),更好地為海洋信息化戰(zhàn)略服務(wù)。 一、大數(shù)據(jù)時(shí)代 各種類型傳感器的應(yīng)用,世界各大IT巨頭對(duì)大數(shù)據(jù)的深度開(kāi)發(fā),萬(wàn)物物聯(lián)的時(shí)代即將到來(lái)。隨著物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、云計(jì)算等技術(shù)的迅速發(fā)展,人、機(jī)、物三元世界的高度融合,引發(fā)了數(shù)量模指數(shù)級(jí)的增長(zhǎng),數(shù)據(jù)量積累到一定程度其資源性愈加凸顯,開(kāi)發(fā)價(jià)值愈加大,大數(shù)據(jù)已深入到生活的方方面面,世界已進(jìn)入大數(shù)據(jù)時(shí)代,大數(shù)據(jù)被稱為將引發(fā)生活、工作和思維變革的一次革命。 ⒈大數(shù)據(jù)的特點(diǎn) 隨著對(duì)大數(shù)據(jù)研究的深入,大數(shù)據(jù)不僅僅是數(shù)據(jù)“大量化(Volume)”,而且包含了“快速化(Velocity)”“多樣化(Varirty)”和“價(jià)值化(Value)”等多種屬性。大數(shù)據(jù)每年以50%的速度增長(zhǎng),遵循大數(shù)據(jù)“摩爾定律”,大數(shù)據(jù)具有多維性質(zhì),而不同維度之間有著天然的聯(lián)系;大數(shù)據(jù)類型多樣,其中只有10%是結(jié)構(gòu)化數(shù)據(jù),90%為是非結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)與人類密切相關(guān);目前數(shù)據(jù)從生產(chǎn)到消耗的時(shí)間窗口非常短,為了獲得更多的決策支持,就要求大數(shù)據(jù)的處理速度足夠快;大數(shù)據(jù)是全面而非抽樣的,全信息記錄,使得大數(shù)據(jù)具有價(jià)值密度低、但商業(yè)價(jià)值高的特點(diǎn)。 ⒉大數(shù)據(jù)面臨的挑戰(zhàn) 大數(shù)據(jù)的到來(lái)催生出新的科學(xué)范式,圖靈獎(jiǎng)獲得者Jimgray博士將人類的科學(xué)研究史總結(jié)為4種范式,即實(shí)驗(yàn)研究階段、理論研究階段、計(jì)算研究階段和數(shù)據(jù)驅(qū)動(dòng)研究階段??梢钥闯觯髷?shù)據(jù)正在引發(fā)科學(xué)研究思維與方法的變革。雖然大數(shù)據(jù)提出較早,但普遍進(jìn)入大眾視野是最近10年才開(kāi)始的,大數(shù)據(jù)技術(shù)已取得了較大的發(fā)展,但也面臨著以下幾個(gè)方面的挑戰(zhàn)。 ⑴數(shù)據(jù)采集 “大數(shù)據(jù)技術(shù)”顧名思義不難發(fā)現(xiàn),數(shù)據(jù)是其根本,數(shù)據(jù)采集是大數(shù)據(jù)技術(shù)的第一步。目前通常采用的數(shù)據(jù)采集技術(shù)是利用ETL工具將多源異構(gòu)數(shù)據(jù)源中的關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等,抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉(cāng)中,成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ),實(shí)時(shí)采集的數(shù)據(jù)可作為流計(jì)算的輸入,進(jìn)行實(shí)時(shí)處理分析。大數(shù)據(jù)多樣化給數(shù)據(jù)的轉(zhuǎn)換、集成帶來(lái)了挑戰(zhàn),如何正確地轉(zhuǎn)換和完整的集成是數(shù)據(jù)采集需要面臨的問(wèn)題。 ⑵數(shù)據(jù)儲(chǔ)存和管理 傳統(tǒng)的數(shù)據(jù)庫(kù)追求高度的數(shù)據(jù)一致性和容錯(cuò)性,擴(kuò)展性不足,在面對(duì)非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)時(shí),存儲(chǔ)能力一般。利用分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)、N0SQL數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)等,實(shí)現(xiàn)對(duì)結(jié)果化、半結(jié)構(gòu)化海量數(shù)據(jù)的存儲(chǔ)和管理。當(dāng)前,已有的存儲(chǔ)技術(shù)的提升較數(shù)據(jù)量的增長(zhǎng)落后很多,設(shè)計(jì)合理的分層存儲(chǔ)架構(gòu)成為大數(shù)據(jù)存儲(chǔ)的關(guān)鍵。 ⑶數(shù)據(jù)處理與分析 目前大數(shù)據(jù)處理和分析所采取的關(guān)鍵技術(shù)是利用分布式并行編程和計(jì)算框架,結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法,實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析。大數(shù)據(jù)的多樣性、多源異構(gòu)性加大了數(shù)據(jù)集成和處理的難度,開(kāi)展大數(shù)據(jù)不同類型格式向標(biāo)準(zhǔn)化格式轉(zhuǎn)化研究,建立大數(shù)據(jù)多源融合體系。 ⑷數(shù)據(jù)隱私和安全 在從大數(shù)據(jù)挖掘潛在的巨大商業(yè)價(jià)值和科學(xué)研究?jī)r(jià)值的同時(shí),需要關(guān)注數(shù)據(jù)隱私和數(shù)據(jù)安全的問(wèn)題。如何構(gòu)建隱私數(shù)據(jù)保護(hù)體系和數(shù)據(jù)安全體系,有效保護(hù)個(gè)人隱私和數(shù)據(jù)安全是人們更為關(guān)心的問(wèn)題。此外,還有需要面臨的挑戰(zhàn),如打破數(shù)據(jù)壁壘,實(shí)現(xiàn)數(shù)據(jù)共事;廣泛的技術(shù)培訓(xùn),培養(yǎng)大數(shù)據(jù)人才;宣傳大數(shù)據(jù)思維,用大數(shù)據(jù)思維看待問(wèn)題,正確認(rèn)識(shí)數(shù)據(jù)驅(qū)動(dòng)的方法。 二、大數(shù)據(jù)下海洋地理信息系統(tǒng)的發(fā)展 ⒈海洋地理信息系統(tǒng)概述 地理信息系統(tǒng)(GIS)是海岸帶資源與環(huán)境綜合管理的方便有效的技術(shù)手段,基于海洋的特點(diǎn),如海水的流動(dòng)性,海水深度明顯的周期變化有別于陸地,有較強(qiáng)的時(shí)間性,海洋地理信息系統(tǒng)(MGIS)需要處理空間和時(shí)間同步的數(shù)據(jù)。 海洋環(huán)境的復(fù)雜多樣,需要綜合管理社會(huì)、經(jīng)濟(jì)、資源、環(huán)境等多樣性數(shù)據(jù),要求MGIS具有多功能性和智能化的特點(diǎn)。MGIS綜合性地跨學(xué)科融合了海洋學(xué)、遙感、測(cè)繪學(xué)、計(jì)算機(jī)科學(xué)、信息科學(xué)、社會(huì)學(xué)、生態(tài)學(xué)以及災(zāi)害學(xué)等目前相關(guān)的研究者大多基于自身所在的學(xué)科背景,將MGIS作為一種輔助分析或決策的具來(lái)使用,而將多學(xué)科、多背景系統(tǒng)融合的研究則鮮有研究。在大數(shù)據(jù)時(shí)代,MGIS將會(huì)迎來(lái)快速而創(chuàng)新性的發(fā)展,使MGIS更廣泛地適應(yīng)海洋科學(xué)發(fā)展的特點(diǎn)和構(gòu)建“數(shù)字海洋”的信息系統(tǒng)。 ⒉海洋時(shí)空大數(shù)據(jù)倉(cāng)庫(kù) 時(shí)空規(guī)律蘊(yùn)含在數(shù)據(jù)之中,集成的數(shù)據(jù)越多,發(fā)掘出規(guī)律的可能性越高。以往的學(xué)者認(rèn)為海洋數(shù)據(jù)包含海洋水文、海泮生態(tài)環(huán)境、海洋氣象氣候、海洋化學(xué)、海洋經(jīng)濟(jì)、海洋物理等方面經(jīng)典的大數(shù)據(jù)。2010年前后以物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)為標(biāo)志,開(kāi)啟第三次信息化浪潮,海洋大數(shù)據(jù)已經(jīng)不再限于海洋自然科學(xué)數(shù)據(jù),與海洋相關(guān)的社會(huì)數(shù)據(jù),如網(wǎng)絡(luò)社交新媒體等也應(yīng)納入海詳大數(shù)據(jù)的范疇。MGIS與大數(shù)據(jù)技術(shù)相結(jié)合,使海洋信息數(shù)據(jù)的建庫(kù)和管理向科學(xué)化、便捷化、實(shí)肘化、智能化和應(yīng)用社會(huì)化的方向發(fā)展。 數(shù)據(jù)是運(yùn)用大數(shù)據(jù)技術(shù)的基礎(chǔ),構(gòu)建海洋時(shí)空大數(shù)據(jù)倉(cāng)庫(kù)是MGIS在大數(shù)據(jù)時(shí)代發(fā)展的基石。以大數(shù)據(jù)的采集和存儲(chǔ)模式為基礎(chǔ),結(jié)合MGIS數(shù)據(jù)的特點(diǎn),將數(shù)據(jù)分為傳統(tǒng)MGIS時(shí)空數(shù)據(jù)集、多源傳感器與遙感數(shù)據(jù)和多源泛在時(shí)空信息資源3類。將時(shí)空數(shù)據(jù)以場(chǎng)景為基礎(chǔ),構(gòu)建多尺度圖元鑲嵌的幾何模型,通過(guò)増量和快照相結(jié)合的方式,表達(dá)緩慢變化的自然場(chǎng)景。對(duì)于社會(huì)和自然變化較為劇烈的過(guò)程,如涉海安全事故、風(fēng)暴潮、海嘯等突發(fā)事件, 以離散事件、過(guò)程快照和流媒體等不同類型來(lái)進(jìn)行表達(dá),使泛在時(shí)空信息聚合。通過(guò)時(shí)間、地點(diǎn)、事件等關(guān)鍵要素,建立與自然表達(dá)場(chǎng)景的映射與關(guān)聯(lián)。海洋時(shí)空大數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的組織關(guān)系如圖1所示。 圖1 海洋時(shí)空大數(shù)據(jù)倉(cāng)庫(kù) ⒊基于大數(shù)據(jù)的多環(huán)境多層次智能決策預(yù)警系統(tǒng) 傳統(tǒng)的MGIS應(yīng)用已經(jīng)十分廣泛,用于海洋功能區(qū)的管裡和規(guī)劃、海岸帶的管理和規(guī)劃、海洋環(huán)境的管理和保護(hù)、海洋資源的開(kāi)發(fā)管理與保護(hù)、海洋環(huán)境的監(jiān)測(cè)、評(píng)價(jià)與預(yù)報(bào), 海洋防務(wù)數(shù)據(jù)的管理、分析和輔助決策等方面。技術(shù)的革新有助于提高人們對(duì)問(wèn)題的認(rèn)知水平, 從不同的角度和層次看待問(wèn)題,獲得更好的解決問(wèn)題的途徑。技術(shù)最終是要服務(wù)于應(yīng)用,大數(shù)據(jù)技術(shù)與海洋地理信息系統(tǒng)相結(jié)合的落腳點(diǎn)、未來(lái)的發(fā)展方向?qū)⑹菢?gòu)建多環(huán)境要素的多層次的實(shí)時(shí)的決策預(yù)警系統(tǒng)。依據(jù)大數(shù)據(jù)的“相關(guān)而非因果”思維,在多樣而全面的數(shù)據(jù)倉(cāng)庫(kù)中,應(yīng)用多環(huán)境模態(tài)發(fā)現(xiàn)深度學(xué)習(xí)模型,快速而準(zhǔn)確地找到規(guī)律,預(yù)測(cè)事物的進(jìn)一步發(fā)展,為決策者提供依據(jù)。為建立該預(yù)警系統(tǒng),首先,在MGIS平臺(tái)上構(gòu)建海洋環(huán)境、大氣環(huán)境、生態(tài)環(huán)境、經(jīng)濟(jì)環(huán)境、社會(huì)環(huán)境等海洋時(shí)空大數(shù)據(jù)倉(cāng)庫(kù),以大數(shù)據(jù)云計(jì)算為支撐,集成多源時(shí)空數(shù)據(jù)資源和集成,實(shí)現(xiàn)尺度適應(yīng)的高性能多模態(tài)數(shù)據(jù)訪問(wèn)機(jī)制;其次,使用耦合時(shí)空多尺度過(guò)程模型與算法,建立時(shí)空模態(tài)發(fā)現(xiàn)的高性能計(jì)算框架,挖掘出多環(huán)境變量多層次時(shí)空響應(yīng)關(guān)系;最后構(gòu)建實(shí)時(shí)高效的多源數(shù)據(jù)采集和處理系統(tǒng),耦合多主題多因子海洋環(huán)境問(wèn)題時(shí)空預(yù)測(cè)的深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型庫(kù),研究建立典型情景與專家交互式情景設(shè)定雙驅(qū)動(dòng)的環(huán)境預(yù)警鏈,實(shí)現(xiàn)面向海洋環(huán)境問(wèn)題的多層次智能決策預(yù)警系統(tǒng)?;诖髷?shù)據(jù)的多環(huán)境多層次智能決策預(yù)警系統(tǒng)的框架見(jiàn)圖2。 圖2 基于大數(shù)據(jù)的多環(huán)境多層次智能決策預(yù)警系統(tǒng) ⒋大數(shù)據(jù)下海洋地理信息系統(tǒng)面臨的挑戰(zhàn) 大數(shù)據(jù)時(shí)代,海洋地理信息系統(tǒng)主要面臨以下3個(gè)挑戰(zhàn)。首先是思維的轉(zhuǎn)變,當(dāng)今海洋學(xué)問(wèn)題主流處理方式仍然是模型驅(qū)動(dòng),而數(shù)據(jù)的極大豐富使人們可以不用模型和假設(shè),實(shí)現(xiàn)從模型驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)的思維轉(zhuǎn)變,以大數(shù)據(jù)思維解決MGIS中遇到的新型問(wèn)題,從復(fù)雜的時(shí)空數(shù)據(jù)中挖掘出隱含的規(guī)律和知識(shí)。其次是數(shù)據(jù)和技術(shù)的共享,海洋數(shù)據(jù)的敏感性和大數(shù)據(jù)關(guān)鍵技術(shù)的壟斷性是阻礙大數(shù)據(jù)發(fā)展的最大障礙。最后是多學(xué)科復(fù)合型人才的培養(yǎng),大數(shù)據(jù)和云計(jì)算技術(shù)的提升,使全要素的數(shù)據(jù)驅(qū)動(dòng)成為可能,擁有多學(xué)科背景,具備跨學(xué)科綜合能力的人才更為急需。 三、結(jié)語(yǔ) 結(jié)合大數(shù)據(jù)的概念和特點(diǎn),探討了海洋地理信息系統(tǒng)未來(lái)可能的發(fā)展趨勢(shì),以海洋地理信息系統(tǒng)為平臺(tái),建立海洋時(shí)空大數(shù)據(jù)倉(cāng)庫(kù),以大數(shù)據(jù)、云計(jì)算和深度學(xué)習(xí)算法為技術(shù)支撐, 將基于大數(shù)據(jù)的多環(huán)境多層次智能決策預(yù)警系統(tǒng)作為應(yīng)用的落腳點(diǎn)。最后認(rèn)為思維轉(zhuǎn)變、技術(shù)壁壘和人才培養(yǎng)等3個(gè)方面是大數(shù)據(jù)和海洋地理信息系統(tǒng)將要面臨的問(wèn)題。 【作者簡(jiǎn)介】本文作者/陳鵬 王少朋 李玉婷 陳坤 劉逸潔,分別來(lái)自南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室和國(guó)家海洋信息中心。文章來(lái)自《海洋信息》(2019年第2期),參考文獻(xiàn)略,用于學(xué)習(xí)與交流,版權(quán)歸作者及出版社共同擁有,轉(zhuǎn)載也請(qǐng)備注由“溪流之海洋人生”微信公眾平臺(tái)整理。 ![]() ![]() |
|
|