摘要:摘要:隨著科技的不斷發展,大數據時代已經來臨,國內外各行業對大數據的應用已進行了實踐與探索,大數據成為人們分析事物、觀察生活的顯微鏡。在生態學中,數據挖掘技術對生
摘要:隨著科技的不斷發展,大數據時代已經來臨,國內外各行業對大數據的應用已進行了實踐與探索,大數據成為人們分析事物、觀察生活的顯微鏡。在生態學中,數據挖掘技術對生態系統的保護具有自動化、實時化和智能化的優點,并且提高工作效率、節約資金,因此,及時、高效、準確的生態數據獲取是分析生態保護機制,獲取最佳生態經濟效益,使生態環境良性發展的前提。我國大數據產業的發展尚處于初級階段,在應用時既要吸收和消化西方先進的技術和經驗,又要鼓勵自主創新,迎頭趕上,讓科學指引決策。
關鍵詞:大數據;生態學;數據挖掘
隨著科學技術的不斷發展,數據在社交網絡、云計算、移動互聯網等的推動下,呈爆炸式增長[1]。2012年3月,“大數據的研究和發展計劃”由美國奧巴馬政府推出[2]。該計劃投資兩億多美元,大力發展大數據的收集和分析技術,改善其分析工具,從而推進從海量數據中獲取各種資源的能力。2012年7月,“首屆中國大數據應用論壇”在我國北京大學舉行[3]。論壇議題涉及大數據的發展趨勢、大數據在不同領域中的應用、云計算和大數據、大數據和商業智能等方面,旨在探討大數據在當代社會的應用價值。同時,生態保護問題愈來愈嚴峻,環境污染所帶來的問題成為全國各大城市的熱點問題,而通過對大數據的分析和應用可以解決這些問題。為此,準確、高效、及時的獲取生態數據是分析生態管理機制、構建和諧社會的前提[4]。

1大數據概述
1.1大數據的概念
“大數據”是通過對各種數據的整合、共享和交叉分析,在云計算的數據處理模式和應用方法的基礎上,由結構復雜、類型眾多、數量巨大的數據所構成的集合[5]。大數據的特點可以總結為4個V,即Volume(體量浩大)、Variety(模態繁多)、Velocity(生成快速)和Value(價值巨大但密度很低)[6]。而大數據在人們的認識中,最直觀的印象就是大量復雜數據被處理,最終形成對人們有價值的信息,這些信息中,包含各行各業大量具有潛在價值的規律,因此,大數據成為信息時代人們新的關注焦點。現在,各個國家眾多的科研機構、政府部門和企事業單位高度關注大數據,對大數據進行跟蹤,形成了一輪對大數據的研究熱潮[7,8]。從生態學角度來看,大數據這個“環境切入點”與以往環境問題的處理不同之處在于,它不是一個未被挖掘的環境管理視點,而是一個方法、規律等確定,靜待被應用的切入點,科技界、學術界、政府把它看成一座可能挖掘出巨大財富的“金礦”、“富礦”,各行各業均在探尋大數據層面上的有效技術分析手段[9,10],同樣,對于生態學上,大數據也將引發新的熱潮。
1.2國內外發展現狀
美國是全球大數據產業的發祥地,也是全球大數據產業的中心[11]。目前,金融界特別關注阿里巴巴的微貸,這是銀行界未來最可怕的潛在對手。阿里金融在拿到執照后的短短幾年內,到2012年6月份其微貸企業已經達到12.9萬家,年底微小企業已超過20萬家,貸款總額度達260億萬元。阿里金融背后的實質是什么?有兩個方面,一個是對大數據的正確經營與管理,另一個是善于業務創新,它們的結合,顛覆了金融行業[12]。在iphone推出之前,移動運營商從用戶手中收集了大量具有潛在價值的數據,但并沒有對其價值進行深入挖掘。相反,蘋果公司在跟運營商簽訂合同時規定,運營商要將大部分有用數據提供給公司。由此,任何運營商得到的用戶體驗數據都無法與蘋果公司相比。制造業方面,華爾街依據購物網站上面的顧客評論,分析各企業的產品銷售狀況。這些企業,將顧客消費進行數據分析,實現適當采購、合理庫存和科學管理。制造商們則分析顧客的網上購物數據,了解客戶的各項需求、掌握市場新動向[13]。德國在體育上更是將大數據的強大之處展示得淋漓盡致。2014年的世界杯德國以7∶1的比分戰勝了五屆世界冠軍巴西,除了技術水平的因素外,德國對于科隆大學建立的數據庫也起到了巨大的作用。研究人員將巴西隊所有的數據和信息都收集起來,進而進行分析,從中獲取有價值的信息,在這些基礎上制定比賽策略[14]。與國外相比,國內起步稍晚,還比較零散和缺乏系統性。但隨著大數據對人們生活影響的不斷加深,人們對大數據關注的熱情也是不斷高漲。近兩年,大數據在國內得到迅速發展,但目前的研究還主要是集中在大數據挖掘方法和算法[15]。在高校中,數據挖掘及應用得到體現,高校思想政治教育工作已經具備了大數據的特征[16]。例如,通過對近幾年高校學生活動方向的數據進行匯總整理,可以分析出學生的興趣和關注點的變化,從而對學生活動進行及時的調整,不斷促進學生成長成才,擴大學生活動的參與度并提高影響力。數據挖掘技術在中醫藥分析上同樣適用。姚美村[17]等應用數據挖掘中的關聯分析技術,以文獻中收錄的106首治療消渴病的中藥復方為研究對象,對治療消渴病的中藥復方中的配伍科學內涵進行分析和研究,運用ACCESS技術,借助關聯規則分析的方法,建立了中藥復方特征數據庫。在全球各行業中,大數據產業生態系統已形成了完整的產業鏈,企業數量驚人,涉及司法、公共服務、零售、金融等眾多行業。大數據是個跨學科的領域,我國發展大數據產業,既要吸收和消化西方先進的技術和經驗,又要鼓勵自主創新,迎頭趕上[18]。
2大數據在生態學中的應用
2.1牧草研究中的應用
我國牧草種質資源研究工作比較分散,雖然積累了一些關于資源收集、篩選、鑒定、保存和利用方面的資料、經驗,但觀測項目、測試方法和評價標準沒有一致性[19]。對牧草種質資源的可靠性和系統性產生了影響,與國際接軌有一定的困難。近年來,國家科技部要求制定苜蓿種質資源各描述符的字段名稱、類型、長度、小數位、代碼等,以建立統一、規范的苜蓿種質資源數據庫,以便于苜蓿種質資源的信息與實物的充分共享以及高效利用,也為資源利用者提供準確、可靠的科學信息。在我國各種牧草當中,紫花苜蓿被稱為“牧草之王”,適用于干旱、鹽堿地區,是開發旱區和鹽堿地的重要選擇,利用現代技術對根瘤菌進行接種溫室培養,測定其逆境存活率、各項生理指標、離子進出根細胞情況以及差異基因的相關數據,同時進行數據分析,科研工作者就可以對數據中所表現出的信息進行分析研究,探索苜蓿根瘤菌共生對干旱及鹽脅迫的響應機制。
2.2農田生態系統碳循環中的應用
溫室效應是近幾十年來全球性熱點問題,為降低大氣中的溫室氣體濃度,科研工作者不斷對生態系統碳源進行探究。農田生態系統是陸地生態系統的一大組成部分,是溫室氣體重要的源和匯,工作者可以首先運用前人的統計資料,對農田生態系統的碳源、凈碳匯做出初步估算,再運用現有科學技術手段收集整理農田生態系統各項數據,通過數據中所隱含的信息,分析農田生態系統碳循環的時空差異。例如:王紹強[20]運用基于多年平均氣候數據建立的陸地碳平衡模型,對我國東北地區碳通量進行模擬,研究了其分布格局。李可讓[21]等運用CEVSA模型,以月為時間步長,以0.5經緯度網格為空間單元,結合遙感數據和氣象資料等對中國土壤和植被碳儲量進行估算。
3大數據在生態系統應用中的優勢
3.1提高生態管理效率
生態系統的改善和保護所涉及工程量較大,而大數據的大體積特性有助于解決這種困境,在大數據中,隨著數據庫數據的增多,所消耗的計算工作量則遞減,換言之,在對生態系統進行管理過程中,管理成本會隨著大數據的聚合而減小,這種高效工作能有效減少人力和物力,進而提高生態研究工作者的工作效率。例如,監測較大地理區域范圍內或較長時間內發生的生態事件和變化過程時,用遙感數據提取某一區域的植被指數變化信息,然后把植被指數作為某一生態過程模型的輸入參數進行計算,就可以節省大量的人力物力,提高工作效率。
3.2節約資金
近幾十年生態環境遭到嚴重破壞,我國在生態方面投入大量資金,在智能生態管理下,盡管引入處理大數據的設備以及每年對其的維護需要一定的耗費,但是從長遠來看,其經濟效益更大,如在引入大數據處理草地資源管理的各項問題之前,主要依賴于人工調查,但這些信息分布在時空的各個角落,耗費大量人力物力財力,大數據管理系統引入之后,其覆蓋面更廣,信息準確性更高,而且給人們減少的時間成本是無法計量的。
4大數據在生態應用中的挑戰
目前,大數據技術的運用仍存在一些困難與挑戰,體現在大數據挖掘的四個環節中。首先在數據收集方面,要對來自物聯網及各種機構信息系統的數據去偽存真,找出時空差異,收集異源、異構的數據,必要時還要與歷史數據作對比,多角度驗證數據的可信性和價值性。其次是數據存儲,在存儲時通常要用到冗余配置、分布化和云計算技術,按照一定規律對數據進行歸類處理,通過過濾和去重,減少存儲處理,并附上日后檢索的標簽,以達到低成本、低能耗、高可靠性的目標。第三是數據處理,生態學的數據復雜性不僅體現在數據樣本本身,更體現在多源異構、多實體和多空間的交叉互動上,工作者很難用傳統方法對其進行描述與度量,因此,筆者需要將高維圖像等多媒體數據降維后再進行度量與處理,通過上下文關聯分析,從大量模棱兩可的數據中綜合各種信息,從而導出可理解的內容。第四是結果的可視化呈現,目前,盡管計算機智能化有了很大進步,但還只能針對小規模、有結構的數據進行分析,談不上深層次的數據挖掘,現有的數據挖掘算法在生態管理行業中難以通用。總的來說,利用數據挖掘技術對生態系統進行保護的研究尚處于起步階段,其前景廣闊,同時充滿挑戰。
5結論
大數據對人類產生的影響,就像顯微鏡一樣[26]。4個世紀之前,對大自然的觀察以及對物體的測量,人們只保留在肉眼階段,顯微鏡將它推進到了細胞水平,這使人類社會發展產生了歷史性的進步。現在,大數據成為人們分析事物、觀察自然的顯微鏡。因此,根據生態經濟發展的倡議方向,利用大數據探索生態系統中物流、能流和價值流的定量特征,建立和發展生態經濟的理論基礎和方法,實現生態的可持續發展與生態資源的可持續利用[27],為政府宏觀決策、企業倡議選擇和農戶增收提供科學依據,將成為大勢所趨。
參考文獻
[1]何文娜.大數據時代基于物聯網和云計算的地質信息化研究[D].長春:吉林大學,2013.
[2]賽迪智庫軟件與信息服務研究所.美國將發展大數據提升到倡議層面[J].中國電子報,2012-7-17,003.
[3]吳彬.生態科學數據元數據及其標準研究[J].中南林業科技大學學報,2010,30(12):75-79.
[4]夢小峰,慈祥.大數據管理:概念,技術與挑戰[J].計算機研究與發展,2013,50(1):147-169.