時間:2024-01-05 17:06:02
導語:在大數據云計算技術的撰寫旅程中,學習并吸收他人佳作的精髓是一條寶貴的路徑,好期刊匯集了九篇優(yōu)秀范文,愿這些內容能夠啟發(fā)您的創(chuàng)作靈感,引領您探索更多的創(chuàng)作可能。
混合云將成企業(yè)模式
盡管EMC在存儲業(yè)界堪稱老大,但目睹了EMC World 2011的宏大規(guī)模還是令記者吃驚不已:會議舉辦地拉斯維加斯機場里豎立的一塊塊廣告牌、偌大的大會會場座無虛席的火爆場面、上萬人參會的熙熙攘攘的會場內外、現場500多場講座和100場動手實驗室及展示、一次次的新聞⋯⋯這些除了表明EMC在業(yè)界的領導地位和影響力外,更說明企業(yè)用戶急需解決當前IT遇到的種種難題和困惑。
對于當前用戶面對的海量數據,Joe Tucci分析說,在瘋狂增長的企業(yè)數據中,有90%的數據是非結構化數據,像文件、照片、視頻、電子郵件或社交網絡通信。同時,除了數據量的增長外,目前使用的數據類型、管理數據的方式,以及企業(yè)員工使用的設備(包括桌面和智能手機)的數量也在不斷增加。他認為,新型的開源網絡應用框架正在改變數據創(chuàng)建和訪問的方式,而具有新型框架的客戶將會把內部基礎架構轉移到基于x86服務器的私有云,并與公共云服務合作伙伴結成聯(lián)盟,未來企業(yè)云的模式將是由私有云和公共云共同組成的混合云。而無論是私有云、公共云還是混合云以及大數據,都給企業(yè)帶來了IT轉型的機會。這些大趨勢正在轉變企業(yè)管理信息資產、從信息資產提取價值的方式。
Gartner數據顯示,2010年有35%的企業(yè)部署了私有云,而2011年還將有超過30%的企業(yè)參與其中。Joe Tucci表示:“在云計算中,信息安全是企業(yè)關注的首要問題,因此,能否讓企業(yè)信任私有云、公共云或混合云是云計算發(fā)展的關鍵所在,我們確信EMC能夠得到企業(yè)的認同?!?/p>
為了幫助用戶盡快踏上“云”的征程,有效管理大數據,在這次大會上,EMC推出了新一代全球可訪問云存儲平臺Atmos 2.0,以更加強大、高效率地管理分布式大數據和云環(huán)境。Atmos 2.0的管理速度提高了5倍,管理效率提高了65%。
另外,EMC還宣布Symmetrix VMAX系列存儲系統(tǒng)為進一步加速用戶的云計算進程而增加了多項新功能。據說,今年以來,EMC已經推出超過50種全新的Symmetrix VMAX功能,促使EMC今年第一季度高端存儲產品收入增長了25%。
“閃電計劃(Project Lightning)”是EMC此次的一項進一步促進閃存技術應用的戰(zhàn)略,即推出基于PCIe/閃存的服務器高速緩存技術,在服務器中集成閃存,并將其作為陣列的高速緩存和存儲系統(tǒng)。此消息一出,盡管EMC否認其將涉足服務器領域,但還是有不少人對此表示懷疑。
大數據重在數據分析
“大數據(Big Data)”可以說是繼云計算之后的又一新鮮名詞,也是此次EMC World的主題之一。
會上,EMC推出了據稱是世界上最大的單一文件系統(tǒng)EMC Isilon IQ 108NL橫向擴展NAS,在單一文件系統(tǒng)和單個卷中可擴展至15PB以上,從而為最大限度地利用大數據機遇提供了存儲基礎。同時,EMC還針對常用于數據密集型分布式應用的Apache Hadoop開源軟件,推出了世界上第一個定制的、高性能的Hadoop專用數據協(xié)同處理設備Greenplum HD數據計算設備,它結合Hadoop和Greenplum數據庫,在一個單一、無縫的解決方案中實現了結構化和非結構化數據的協(xié)同處理,并同時推出了面向Hadoop的Greenplum HD社區(qū)版和企業(yè)版軟件。
【關鍵詞】云計算 大數據 網絡
云計算技術是基于網絡,提供數據計算服務、存儲服務的新型網絡管理調度技術,統(tǒng)籌的將網格計算、并行計算以及分布式計算加以實現,應用到了網絡數據管理中,并結合其他軟件、硬件提供給用戶多種服務。利用云技術,可以大幅度的提高資源利用率,這一新型的超級計算其數據非常密集,能夠實現集數據存儲、數據計算、服務器功能、應用軟件功能、IT軟硬件設備資源虛擬化。當今全球互聯(lián)網的流量也在爆炸式的增漲著,云計算與大數據的應用是數據處理的重要技術。并且,隨著網絡技術、軟件技術的發(fā)展,云技術在數據的處理中展現出了越來越多優(yōu)勢,如表1所示。
大數據是在云技術之上興起的新課題,大數據往往具備以下四個特征:
(1)大量的數據;
(2)多種類型的數據;
(3)數據生成及處理速度快;
(4)大數據的巨大價值;這也就是大數據的4V特征。
并且S著基于云計算技術的大數據不斷的發(fā)展,還提出了大數據的第五點特征及要求,便是強化大數據處理分析中的準確性(Veracity),目前的大數據處理已經進入了5V時代。
1 大數據的特點
大數據技術對比傳統(tǒng)數據的諸多特性來分析,具有非常明顯的差異。這些差異主要體現在數據的計算、存儲以及檢索等多方面。傳統(tǒng)的數據線性特征顯著,對比離散型顯著的大數據而言,大數據的發(fā)散性、隨機性、爆發(fā)性顯得更為復雜,但是這種復雜的數據能夠體現出更為客觀的現象,具備更有效的價值。
2 關鍵技術
2.1 數據存儲技術
信息數據在進行存儲時的可靠性、安全性以及讀寫時的效率是云計算技術的基礎,利用云計算技術在存儲時,往往采用分布式存儲,將大量的數據進行匯總并儲存到集群服務器中。這種存儲技術往往會對數據進行備份儲存,利用先進的數據加密技術配合冗余存儲能夠確保數據的可靠性、安全性。以HDFS為例:
HDFS是一種分布式文件存儲系統(tǒng),被廣泛應用在通用硬件中。這一系統(tǒng)具備較高的容錯功能,能夠在廉價設備上實現應用,并且其對數據訪問的吞吐量也很大,適合應用在大數據集的處理上。HDFS系統(tǒng)可以進一步的實現文件系統(tǒng)中的數據流式讀取,在大數據處理中,HDFS常被設計成能夠實現平臺間便于遷移的系統(tǒng),這就令大數據集的應用更便捷,如圖1所示。
2.2 虛擬化數據管理
云計算的主要功能在于針對大量的數據進行分布式的分析處理,并且為用戶提供高效的服務,這就需要強大的數據管理能力作為支撐,而基于云計算的大數據技術在數據管理中具備虛擬化特征。將數據處理的計算機系統(tǒng)轉換成了虛擬層,利用硬件設備資源,配合操作系統(tǒng)建立了這樣一個虛擬的空間鏈接數據處理的各層級。令上下層的配合更靈活,極大程度的縮減了開銷,提高了資源利用率。
3 大數據與云計算的關聯(lián)
大數據的處理是將云計算技術視為一種技術平臺,大數據在進行數據處理時的首選處理形式則是云計算技術,云計算為大數據的處理分析提供了最適的存儲空間及計算能力,可以令大量的數據信息迅速的分析出結果,便于使用付諸現實。而云計算技術的主要功能在于計算能力,大數據則可以視為接受計算處理的對象,前者對于計算能力更為注重,后者則是更傾向于存儲功能。將存儲的大數據付諸應用的重點在于數據處理,而云計算恰好滿足了這一功能性要求。
4 總結
大數據處理技術與云計算在信息處理中展現出了極大的潛力,結合這兩種技術能夠實現信息傳遞的高效性、準確性、大容量。在很多領域,應用基于云計算的大數據處理技術表現出強大的功能。隨著網絡信息技術的高速發(fā)展,信息數據的傳播數量及速度都亟待提升?;谠朴嬎愕拇髷祿幚砣孕柽M一步的開發(fā),并對這一新技術加以應用,相關技術的研究也是當前學術界的關注點。
參考文獻
[1]丁有偉,秦小麟,劉亮,王濤春.一種異構集群中能量高效的大數據處理算法[J].計算機研究與發(fā)展,2015(02):377-390.
[2]李貞強,陳康,武永衛(wèi),鄭緯民.大數據處理模式――系統(tǒng)結構,方法以及發(fā)展趨勢[J].小型微型計算機系統(tǒng),2015(04):641-647.
[3]李敏,倪少權,邱小平,黃強.物聯(lián)網環(huán)境下基于上下文的Hadoop大數據處理系統(tǒng)模型[J].計算機應用,2015(05):1267-1272.
[4]彭建華,李臣明,邱軍林,李曉芳,徐立中.接收與處理分離的實時大數據處理模型[J]. 計算機科學與探索,2015(08):906-913.
[5]張少敏,毛冬,王保義.大數據處理技術在風電機組齒輪箱故障診斷與預警中的應用[J].電力系統(tǒng)自動化,2016(14):129-134.
Informatica是全球首屈一指的獨立數據集成軟件提供商。現在,世界各地的組織在Informatica公司的幫助下,都能為其主要的業(yè)務需求提供及時、相關和可信的數據,使其在當今全球信息經濟中獲得競爭優(yōu)勢。目前,全球已有超過 4,500 多家企業(yè)依靠 Informatica 提供的解決方案訪問、集成并信任其位于企業(yè)內外及云中的信息資產。憑借對技術和客戶應用趨勢的準確把握,Informatica對于2012年云和大數據的變化有了非常清晰而深入的掌控。
2012年,企業(yè)對于云解決方案的思維模式將發(fā)生變化。首先,在企業(yè)以及政府部門中,云將從考慮階段廣泛進入實施。更多的IT機構將從成本中心轉向利潤中心,這部分是因為采用了云計算。另外,“離群”云集成和點到點應用集成將被更具戰(zhàn)略性的、全公司范圍的數據集成戰(zhàn)略所取代。這個戰(zhàn)略跨越了本地部署和云環(huán)境,為即使是中型企業(yè)提供了一個單一、統(tǒng)一的公司數據視圖。
由于云計算部署的加快,在公共云方面,Gartner預測,到2013年,云計算在整體IT預算中會增長20%或更多,到2016年底,有超過50%的Global 1000公司將在公共云中存放客戶敏感數據。在Informatica,我們相信,在2012年,混合環(huán)境將成為常態(tài),機構將需要訪問和分析在其IT環(huán)境中的數據,全面跨越傳統(tǒng)的本地部署,以及私有和公共云。
云部署的加快,對大數據解決方案產生了深刻的影響。Informatica相信,越來越多的客戶數據“生存”在完全不同的云環(huán)境中,公司向面臨更多的對于數據質量的挑戰(zhàn)。盡管價值客戶的慷慨贈與就在云中,但要得到一個非常理想的其客戶的單一視圖以告知以客戶為中心的營銷戰(zhàn)略,會更難而不是更容易。
同時,2012年,法規(guī)遵從、風險管理和推動以客戶為中心將繼續(xù)是機構了解和改善其數據狀態(tài)的推動力。然而,Gartner預測,“到2015年,超過85%的財富500企業(yè)將無法有效地利用大數據獲得競爭優(yōu)勢?!盜nformatica相信,盡管有關于大數據的持續(xù)的推廣,但是大多數的機構將繼續(xù)為實現他們所訪問的數據的1%的潛在價值而努力,需要利用大數據解決方案獲得更大的競爭優(yōu)勢。
在2012年,在大數據解決方案將會如何影響客戶服務和關系方面,Gartner預測,“對訪問和識別能力的需求,在‘大數據’源,如社交網絡中,單個客戶、產品和供應商被推薦,以及把他們內部地連接到授權的主數據上,將為改善市場、銷售和客戶服務提供一個新的機會?!盜nformatica相信,機構將從理論和計劃轉向實際部署數據治理和主數據管理(MDM)最佳實踐。同時,通過對社交和位置數據的分析獲得對客戶前所未有的了解,將使得更多的機構放棄大眾化營銷,轉而贊成不僅僅是針對個體的個性化營銷,而且針對那些可以影響其他人購買行為的個體進行個性化營銷。
在大數據中即將產生的變化影響IT團隊方面,Informatica認為,隨著企業(yè)不斷尋求更高的數據回報,Data Steward的角色將變?yōu)橹髁?,很多數據相關的責任業(yè)務分析師與IT專家已經非正式地結合在一起形成了一個正式的工作職能。而且,對Hadoop開發(fā)者將會有更高的需求,技能短缺將繼續(xù)且很可能加劇。在明年,Hadoop將繼續(xù)獲得牽引力,但在2015年前都不會成為真正的主流。
關鍵詞:云計算;大數據;數據容災
中圖分類號:TP393 文獻標識碼:A 文章編號:1009-3044(2014)32-7574-02
1 概述
當代云計算數據中心的存儲節(jié)點數量少則幾十萬多則上百萬,在規(guī)模如此龐大的海量存儲系統(tǒng)中,節(jié)點失效或磁盤損毀已然成為一種常態(tài),此外,由于網絡設備或者傳輸線路故障等原因導致的數據丟失或短時不可用現象也常有發(fā)生。如果用戶或企業(yè)不能隨時隨地存取自己所需的數據,甚至發(fā)生數據丟失的現象,將大大影響客戶滿意度,甚至給企業(yè)帶來巨大的經濟損失,因此,必須采取有效措施及相關技術策略來保證云端數據的可靠存儲。
2 云端數據中心拓撲結構
云端數據中心是大數據存儲的基礎平臺,數據的可靠性及訪問效率與網絡節(jié)點的拓撲結構緊密相關。按節(jié)點功能類型的不同,可將數據中心節(jié)點的拓撲結構分成三種類型[1]:①以server(服務器)為為中央節(jié)點的星型結構;②以 switch(交換機)為中央節(jié)點的星型結構;③混合結構。三種拓撲結構的特點如下:
以server為中央節(jié)點的結構將多臺server通過傳輸介質直接互連起來,在這種結構中,server兼任switch的角色,一方面承擔數據的加工處理工作,另一方面承擔分組的存儲轉發(fā)工作,以server為中心的結構增加了服務器之間的網絡帶寬,擺脫了對交換機的過度依賴,提高了吞吐量;但是server之間的鏈路帶寬的不均衡增加了布網的復雜度。
以switch為中央節(jié)點的結構將各臺server通過switch進行互連,switch和server各司其職,switch負責分組的路由轉發(fā),server負責數據的存儲加工,這種結構布網簡單,操作方便,可擴展性強,在現代企業(yè)數據中心應用較廣泛;但以交換機為中心的結構存在底層server利用率低、switch資源浪費較為嚴重、網絡帶寬容量有限、靈活性差等缺點。
混合結構是以上兩種結構的一種擴展,其設計融合了這兩種結構的優(yōu)點并有效避開了各自的缺陷。
3 云端數據容災技術
容災技術是云端大數據可靠存儲的一種關鍵技術,良好的容災策略不但能有效提升大數據存儲系統(tǒng)的可靠性,還有助于提升系統(tǒng)的訪問效率。容災策略一般都采用冗余備份技術來實現,以確保當出現某種突發(fā)狀況導致存儲系統(tǒng)中的文件、數據、片段丟失或者嚴重損壞時,系統(tǒng)可準確而快速地訪問冗余數據來維持系統(tǒng)的穩(wěn)定運行[2]。一般來說,容災技術按策略的不同主要分兩種:①復制冗余策略;②糾刪編碼冗余策略。
3.1 復制冗余策略
復制冗余策略為系統(tǒng)中的每一個數據都建立一個或多個副本,并把若干個副本分散存儲在不同的網絡節(jié)點上,當遇到某個數據損毀或失效不能正常使用時,可通過訪問最近的存儲節(jié)點來獲取與原件完全一致的副本數據[3]?;趶椭频娜哂嗖呗灾饕P注2個方面的問題:(1)副本數量設置;(2)數據放置方法。
3.1.1副本數量設置
副本系數設置主要采取兩種方式: ①靜態(tài)設置副本數量,目前主流的分布式文件系統(tǒng)Hadoop的HDFS、谷歌的GFS都采用3副本策略,這種靜態(tài)設置方法操作簡單,但靈活性差;②隨機動態(tài)設置副本數量,即系統(tǒng)根據數據的訪問頻率、出錯概率及網絡狀況等動態(tài)因素隨機地確定副本系數,動態(tài)地刪除或添加副本,這種動態(tài)機制能大大增加存儲空間的利用率,但動態(tài)計算過程增加了系統(tǒng)的開銷;
3.1.2數據放置方法
巧妙的數據放置方法能通過提高并行訪問量來提升云端大規(guī)模數據的訪問效率,目前,數據放置方法一般采用順序放置和隨機放置[4]。
①順序放置方法把數據副本按順序分布存儲在不同節(jié)點上,使得排列數目相對較少,針對系統(tǒng)的隨機失效有一定的防護性,順序放置方法技術簡單、易于實現和維護,但在具體應用時,因失效具有很強的相關性,局部的網絡故障或節(jié)點失效就有可能導致整個機架的數據不可訪問。
②隨機放置方法是在可放置節(jié)點中隨機地選擇一系列節(jié)點來存放數據副本,此方法能夠降低關聯(lián)對系統(tǒng)可靠性帶來的負面影響,但在實際應用中,由于節(jié)點的存儲、計算能力各不相同、數據的訪問熱度也不盡一致,往往達不到理想的均衡負載效果。
3.2糾刪編碼冗余策略
3.2.2 LDPC編碼
LDPC碼是從蒙特卡洛及圖論演進而成的編譯碼技術,因其稀疏檢驗矩陣(少量元素是1,其余部分全是0)特性,被研究者廣泛用于設計復雜度低的解碼算法,LDPC碼可以有效提升系統(tǒng)的容災能力,但是構造不規(guī)則碼字的難度也相應成倍地增加。
3.2.3陣列編碼
陣列碼的編譯碼過程只涉及基礎的二進制異或運算,技術實現相對容易,而且在采用同等編譯碼的前提下,陣列碼比RS碼更能有效地提高系統(tǒng)的可靠性,與此同時保持其計算域不變大,陣列碼技術一直是大數據可靠存儲關鍵技術的研究熱點,被廣泛的應用于磁盤陣列及網格存儲系統(tǒng)中。
3.2.4 RS編碼
RS碼是一種高效的糾錯碼,既可以糾正突發(fā)錯誤,又可以糾正隨機錯誤,在通信領域中有極其廣泛的應用,近年來,隨著大數據存儲技術的快速、多元化發(fā)展,有研究者對RS編碼行了改造,并將其應用于數據存儲領域以提高系統(tǒng)的容錯性。
4 云端系統(tǒng)節(jié)能減耗技術
數據存儲是各種云計算服務賴以施展的基礎,在云計算環(huán)境下,底層數據中心節(jié)點的規(guī)模龐大,使得數據存儲成本極高,主要源于添置各種網絡硬件設施(大型服務器、交換機、路由器等)以及支付各種存儲設備的高額電能消耗等。高漲的能耗開銷不但增加了系統(tǒng)的運營及維護成本,更催化了大氣溫室效應,嚴重破壞了自然界的生態(tài)環(huán)境,因此,不論從服務商盈利的角度,還是從環(huán)境保護的角度出發(fā),節(jié)能減耗技術都顯得尤為必要。
當前,分布式存儲系統(tǒng)的節(jié)能減耗技術主要集中在兩個方面:①硬件節(jié)能策略,主要致力于降低存儲系統(tǒng)中的硬件設備能耗;②軟件節(jié)能策略,通過使用一些專業(yè)軟件來實現系統(tǒng)資源的有效分配及使用。
參考文獻:
[1] Popa L, Ratnasamy S, Iannaccone G,et al. A Cost Comparison of Data Center Network Architectures[Z]. 2010.
[2] 吳朱華.云計算核心技術剖析[M].北京:人民郵電出版社,2011.
[3] 郭仁東.網絡數據容災備份技術及其應用淺析[J].電腦知識與技術,2012(31).
全市場首提的“數據+產業(yè)+金融”三維新信息經濟判斷持續(xù)被驗證,當前計算機行業(yè)的投資機會在云計算大數據,它是三維研究體系重要成分。原因一是數據(數據應用和安全)在市場上的研究透明度不高,原因二是代表未來投資主題和信息技術陣地。
國家和投資者對于云計算大數據價值的認識有了更高的層次,而未來新的更高層次的認識或接踵而至。我們“數據+產業(yè)+金融”即是這種更高層次認識的預判。
美國科技巨頭云計算模式明確和季報超預期是重大趨勢驗證。2015年第二季度亞馬遜AWS的營收高達73億美元,高于微軟、IBM等競爭對手。但市場對亞馬遜“電商式”IaaS 生態(tài)系統(tǒng)研究較多,我們將不再贅述。谷歌、Vmware、IBM、微軟四大全球領先的云計算公司的共同點都是從自己的優(yōu)勢項目出發(fā),拓展式進行云計算布局。其原因是云計算對于客戶而言是一體化的服務,對于商業(yè)而言建立生態(tài)系統(tǒng)才更有產業(yè)主導權。
不同于2006-2008年主題,全面驗證階段到來。在國外,云服務重要性日益凸顯:成最賺錢業(yè)務,一個值得關注的焦點是:各大巨頭的云服務開始真正顯現出威力。微軟、谷歌、亞馬遜三大科技巨頭先后公布了第三季度財報,業(yè)績好的一天之內三家公司的市值新增了1000億美元。
全球IT并購金額中,云計算相關的并購在金額上一直處于前列, Dell以670億美元的天價收購EMC,創(chuàng)造了科技界有史以來最大的并購案,谷歌、甲骨文、IBM等為布局云與數據產業(yè)的并購早已展開。
在國內,云計算大數據也進入了業(yè)績擴張的階段,是計算機利潤增速最快的主線,2015年上半年利潤增速中位數達到69%。公司方面,紫光股份(000938.SZ)將通過紫光聯(lián)合持有西部數據發(fā)行在外的約15%的股份成為其第一大股東,太極股份(002368.SZ)將持有金蝶中間件21%股權為金蝶中間件第二大股東。網宿科技(300017.SZ)擬募集資金總額不超過36億元,募集的資金將用于社區(qū)云、海外CDN 和云安全三大戰(zhàn)略項目的實施與推進。同有科技(300302.SZ)、浪潮信息(000977.SZ)等,受益云計算大數據帶來盈利格局變化。
必須明確的是,我們對“云計算大數據”產業(yè)鏈外延和內涵的理解,包括對其機會和范疇的理解,有所不同,區(qū)別于大眾所提的“大數據”狹義機會:
一是我們認為這是國家推動信息化發(fā)展的下一個抓手,是未來五年的信息化大機會,所以企業(yè)和資本市場都應該高度認識其意義,否則容易錯過產業(yè)大機會;
二是所理解的“大數據”產業(yè)鏈范疇存在較大不同,我們認為其范疇不僅包括數據存儲、數據安全、數據運營、數據分析,還包括數據通信、產業(yè)數據、云計算等環(huán)節(jié),這才是國家的根本考慮,理解了外延和內涵就更加理解了上述抓手的意義;
三是我們對未來“大數據”產業(yè)鏈發(fā)展趨勢有較為深刻客觀的理解,認為未來大數據產業(yè)演進路線豐富,而橫向和縱向的維度均有不同的機會存在,不是短期更不是主題。
產業(yè)鏈市值方面,有些機構的報告說這個產業(yè)鏈有四五百億的市值,我們的理解是不一樣的,我們認為整個云計算、大數據產業(yè)鏈,從政府的規(guī)??紤],目前的市場規(guī)模在2500億-3000億元之間。我們還認為將來計算機行業(yè)可能有500家公司會成為云計算大數據公司,或者它的業(yè)務會涉及到這方面?,F在已有許多上市公司通過投資合作進入云計算大數據產業(yè)鏈,所以我們認為這一定是未來五年最大的機會。
關鍵詞:云計算;互聯(lián)網大腦;大數據;物聯(lián)網;移動互聯(lián)網
1 物聯(lián)網、云計算和大數據的定義
物聯(lián)網(Internet of Things,縮寫IOT)是一個基于傳統(tǒng)電信網、互聯(lián)網等的信息承載體,讓所有可以被獨立尋址的普通現實物理對象實現互聯(lián)互通的一個網絡系統(tǒng)。通俗地講就是“物物相連”,即通過信息傳感設備,把物品與互聯(lián)網連接起來,進行信息交換和通訊,以達到智能化和自動化的一種新型網絡。
云計算是基于互聯(lián)網的一種計算方式,是互聯(lián)網的核心軟件層和核心硬件層的集合,是基于互聯(lián)網的相關服務的增加、使用和交互模式,也是互聯(lián)網中樞神經系統(tǒng)萌芽。通常是虛擬化的且涉及通過互聯(lián)網來支持動態(tài)易擴展的經常資源。這種服務可以是互聯(lián)網、軟件和IT相關,也可以是其他服務。
大數據代表了互聯(lián)網絡的信息層,是互聯(lián)網意識和智慧產生的源泉。現代社會,大數據在政治、經濟、文化等各方面產生了深遠影響,大數據可以引導人們開啟循“數”思維模式,當下社會三分技術、七分數據,掌握數據者得天下。
2 物聯(lián)網、云計算和大數據的特點
2.1 物聯(lián)網的特點
(1)物聯(lián)網不但具有智能處理的能力,其本身也提供了傳感器的連接,可以對現實物體實現智能控制。物聯(lián)網把智能處理和傳感器結合起來,利用模式識別、云計算等多種智能技術,擴展物聯(lián)網的應用領域。
(2)它是一種廣泛的網絡。物聯(lián)網成立在互聯(lián)網上,其技術的核心和重要基礎仍舊是互聯(lián)網,利用各種無線網絡和有線網絡與互聯(lián)網進行融合,準確地實時地傳遞出物體的信息。
(3)物聯(lián)網對多種感知技術進行了充分的應用。它部署了多種的大量的傳感器,各個傳感器均是一個信息源,不同種類的傳感器所獲取的信息格式和信息內容是不同的。
2.2 云計算的特點
(1)虛擬化。用戶可以使用各種終端、可以在任意位置獲取云計算所提供的應用服務。所請求的資源不是有形的固定的實體,實質是來自于“云”。存在于“云”中某地方來運行,用戶只需要一個手機或者一臺筆記本,就可以通過網絡服務來滿足我們的一切需要,而不用擔心、也無需了解存在運行的具置。用戶通過云甚至可以完成超級計算這樣的龐大任務。
(2)規(guī)模龐大?!霸啤本哂谐蟮囊?guī)模,Google云計算目前已擁有超過百萬臺的服務器,企業(yè)私有云通常擁有成百上千臺服務器,Yahoo、微軟、IBM、Amazon等的“云”都已經擁有了近百萬臺的服務器。 “云”賦予了用戶史無前例的超級計算能力。
(3)平臺的廣泛通用性。云計算可以構造出和支撐千變萬化的應用,而不是只針對某種特定的應用,同一個“云”能夠同時支撐多種不同的應用運行。
(4)可靠性很高。“云”運用了計算節(jié)點同構可互換、數據多副本容錯等措施來保障服務有超高的可靠性,實現比起使用本地計算機,使用云計算更可靠。
(5)服務的可需求化。“云”是一個超級龐大的資源海洋,你可以按照自己的需求來購買;云也可以像電,煤氣,自來水那樣來計費購買。
(6)擴展性超高?!霸啤本哂锌蓜討B(tài)伸縮其規(guī)模的特點,滿足用戶規(guī)模增長和應用擴展的需要。
2.3 大數據的特點
(1)數據的類型繁多。像前面提到的地理位置、圖片、視頻、網絡日志信息等等。
(2)處理速度快,1秒定律,可從各種類型的數據中快速獲得高價值的信息,這一特點在本質上不同于傳統(tǒng)的數據挖掘技術。
(3)數據的數量和體積都非常之巨大。從TB級別直線躍升至PB級別。
(4)在對數據其進行準確、正確的分析并合理利用的前提下將會取得超高的價值回報。
3 大數據、云計算和物聯(lián)網的關系
物聯(lián)網、移動互聯(lián)網等是大數據的來源,物聯(lián)網產生大數據,而大數據分析則是為物聯(lián)網和移動互聯(lián)網提供有用的分析,獲取價值。云計算與大數據兩者之間有很多的交集,業(yè)界主要做云的公司有谷歌、亞馬遜等都擁有大量大數據。大數據應用必須在云設施上跑,大數據離不開云。
物聯(lián)網對應了互聯(lián)網的感覺和運動神經系統(tǒng)。傳統(tǒng)互聯(lián)網,移動互聯(lián)網,物聯(lián)網在源源不斷的向互聯(lián)網的大數據層接受數據和匯聚數據。物聯(lián)網的數據亦可以說是社交數據,實質是物與人、物與物的社會合作信息,而不是人與人之間的交往信息。
在互聯(lián)網虛擬大腦的架構中,互聯(lián)網虛擬大腦的中樞神經系統(tǒng)的功能是將互聯(lián)網的核心軟件層、核心硬件層及互聯(lián)網信息層統(tǒng)一起來,為互聯(lián)網各虛擬神經系統(tǒng)提供服務和支持,從定義上看,云計算與互聯(lián)網虛擬大腦中樞神經系統(tǒng)的特征非常吻合。在理想狀態(tài)下,物聯(lián)網的傳感器和互聯(lián)網的使用者通過網絡線路和計算機終端與云計算進行交互,向云計算提供數據,接受云計算提供的服務。
30年前,世界上最出色的預言家也無法預言今天網絡的力量。信息世界與物理世界的融合,虛擬社會與現實社會的交織,我們已離不開網絡。今天的信息網絡,鏈接著人類社會的未來,引導著我們不斷前行。在信息化建設的深入發(fā)展中,物聯(lián)網更是智慧城市的重要組成部分。統(tǒng)計數據顯示,我國在“十二五”期間將會有近千個城市加入到智慧城市的隊伍中來。
參考文獻:
當前云計算、物聯(lián)網、移動互聯(lián)網等技術飛速發(fā)展,數據的種類和規(guī)模以前所未有的速度增長,如何管理和利用大數據成為當前研究的熱點。云計算和大數據技術對數據處理及服務方式產生巨大影響。文章闡述了云計算和大數據的內涵特征基礎,結合醫(yī)療領域,論述了大數據的研究意義及云計算下大數據處理方式。闡述了云計算下大數據技術不僅改變了傳統(tǒng)的數據管理模式,必將帶來極大的經濟與社會價值。
【關鍵字】
云計算;大數據;醫(yī)療行業(yè)數據;應用研究
一、前言
隨著社會的發(fā)展,人們日常生活與工作產生的數據量越來越大,人類已經步入了大數據時代。數據變化具有以下趨勢:第一是海量數據的需求。數據基本是以每年成倍的速度進行增長,數據量的需求分析也更細,對它的門檻要求也更低,傳統(tǒng)的數據庫無法滿足這種需求。第二是快的需求。數據得到的同時,希望有智能的產生,希望能夠直接產生效果。第三現在的開發(fā)者,需求是多樣化的,很多時候關系型數據庫并不是最優(yōu)的解決方案。數據的不斷增長,給數據存儲、數據管理和分析利用帶來了機遇;在這些包括個人信息、消費記錄等的海量數據之中,蘊含著許多有價值的信息,能夠為企業(yè)經營及管理提供參考。云計算作為這個大數據時代的主流技術,對于大數據的應用管理又有著重要影響。云計算是大數據的IT基礎,而大數據是云計算的一個重要應用。
二、大數據的概念與意義
1、大數據的概念
大數據,即巨大數據量,不能夠通過主流的軟件工具,在適當的時間內收集管理處理及組織起來,使之作為企業(yè)決策的有用信息。大數據,需要特別的技術,由大規(guī)模并行處理(MPP)數據庫、數據挖掘網格、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)組成。“大數據”,需要更多的決策權及洞察發(fā)現力及過程地大規(guī)模優(yōu)化能力,應對新模式高增長率及信息資產多樣化。大數據技術的戰(zhàn)略意義并不是一個巨大的數據信息的掌握,而是因為這些包含了專門的數據進行處理。大數據的特點可以概括為4個“V”(大量Volume,多樣Va-riety,價值Value,高速Velocity)。首先,龐大的數據量。大數據的初始測量單元至少為P(1000個T),E(100萬個T)或Z(10億個T);二、數據類型豐富。例如,網絡日志,視頻,圖片,位置信息等。第三,低密度,高商業(yè)價值。第四、快速處理速度。這最后一點是傳統(tǒng)的數據挖掘技術本質上是不同的。大數據技術,是一種先進的數據分析技術,能夠從各類數據快速獲取有價值地信息,它需要新地加工方式,實現更大決策力地海量高增長率及多樣化的信息。
2、大數據的意義
面對大數據直接從所有的數據分析,挖掘所需信息。分析數據挖掘是混合的有不同來源數據結構,要求其對樣品的精度高并且關注數據相關性地研究。大數據為云計算及計算能力提供了解決空間,對于大數據存儲挖掘及云計算業(yè)務,大數據需要高效節(jié)能的海量云服務器,并從海量數據提取有價值地信息,能夠對政府金融零售娛樂及媒體領域帶來革命性的變化。云計算是基礎信息存儲,為數據共享和挖掘方法提供有用的工具,通過數據的分析和預測使決策更加準確。中國擁有龐大地高度復雜性充滿變化的用戶群體,將成為世界數據量最大的國家。探索基于大數據的解決方案能夠解決海量數據帶來的問題,并使國內產業(yè)升級和提高效率。
三、云計算技術與大數據結合應用
1、云計算技術
云計算,是互聯(lián)網基礎設施底層的抽象,是互聯(lián)網相關服務的使用和交付模式,并提供一個具有擴展性和虛擬性地動態(tài)資源。云計算,將加工程序自動分割成許多較小子程序,通過互聯(lián)網使一個或多個服務器搜索大量系統(tǒng)的計算和分析的巨大處理能力。最后將計算處理結果反饋給用戶。云計算,強調動態(tài)計算能力,大數據,是靜態(tài)計算的對象。
2、云計算與大數據關系
云計算和大數據是相輔相成的關系。云計算提供了大數據存儲和操作地一個計算平臺,大數據則利用分布式處理方法來應用此平臺,云計算與大數據,前者強調計算能力,需要處理大量復雜數據:包括數據獲取、整理、轉換、統(tǒng)計。云計算,要用大量數據作為運算地基礎,兩者是必然趨勢結合。在具體實際應用中,云計算促進了大數據的實際應用,這種應用出現在公共問題領域等。借助云計算、云存儲、數據丟失、病毒入侵等問題的優(yōu)勢,保障數據安全和爆炸性增長的數據為企業(yè)帶來了新的機遇和挑戰(zhàn)。
四、大數據在醫(yī)療行業(yè)應用
1、醫(yī)療行業(yè)數據分析
隨著醫(yī)院信息化的快速發(fā)展,醫(yī)療行業(yè)產生大量的醫(yī)療數據,如何使這些數據提供幫助,即節(jié)約醫(yī)療成本,提高醫(yī)療質量,目前,醫(yī)療數據的應用,還有一些問題,一是醫(yī)療數據分散在各個醫(yī)療機構,二是數據利用率很低,醫(yī)院信息系統(tǒng)積累了大量的數據,但在大多數情況下僅限于管理層面,很少涉及臨床專業(yè)水平。在面對大量的醫(yī)療數據積累的情況下,如果可以進行有效的數據分析和數據挖掘,可以獲得大量的有價值的信息,可以幫助醫(yī)療和醫(yī)院決策者,從而推動到醫(yī)院提供更好的醫(yī)療服務,提高治療質量。大數據技術將在醫(yī)療領域的公共基礎服務領域應用,將能夠幫助醫(yī)院推動醫(yī)療行業(yè)的進步。
2、大數據的應用
由于區(qū)域醫(yī)療信息化及醫(yī)療物聯(lián)網地應用,能夠產生大量地數據:如測試結果、成本數據、傳感器數據、基因數據和圖像數據等,并且還包括大量的在線實時數據分析和處理的需求數據,它們滿足大數據4V特征,屬于大數據類別。為了創(chuàng)造經濟和社會價值,如何有效地管理利用這些海量地醫(yī)療數據是醫(yī)療行業(yè)面臨的挑戰(zhàn)。在醫(yī)學領域中大數據技術的應用前景廣泛。主要包括以下幾個方面:
(1)臨床決策支持系統(tǒng)
將大數據技術應用于臨床決策支持系統(tǒng),能使系統(tǒng)更加智能化。由于大數據分析技術的非結構化數據的強大的分析能力。例如:在醫(yī)學文獻數據庫通過數據挖掘,為醫(yī)師提出更合理的診斷及治療意見,提醒醫(yī)生對于預防潛在的錯誤,例如由于藥品不良反應等,通過采用圖像分析與識別技術,對醫(yī)學圖像數據進行識別并提高診斷和治療的質量。
(2)個性化地醫(yī)療系統(tǒng)
通過對患者進行如基因組數據分析的個性化醫(yī)療大型數據。綜合分析患者的特點及療效數據及對患者進行基因測序的調查,對某一疾病患者的藥物特殊性和敏感性的反應關系,及在治療過程中的特殊性進行靶向治療。
(3)監(jiān)測與預報流行病
在中國疾病預防控制中心,建設突發(fā)公共衛(wèi)生事件和國家傳染病網絡報告系統(tǒng)已投入運行,每年存儲的病例報告和信息有600多萬左右,覆蓋了全國所有縣疾病控制機構信息的年度報告。通過大數據技術報告海量數據可以進行綜合性地分析及檢測,對于通過綜合疾病監(jiān)測及反應程序,準確預測傳播時間和路徑,方便采取有效措施,減少傳染病的患病率。流感的準確預測是利用大數據技術成功案例。谷歌公司對流感準確預測的成功案例是大數據技術的應用。谷歌公司把美國最常使用的搜索條目。與流感疫情在美國疾病預防控制中心的數據相比,確診了是否感染流感。人們通過使用特定的如“咳嗽和發(fā)熱藥”搜索詞,便獲得流感治療的互聯(lián)網信息,建立了特定的搜索條件和時間空間與流感之間聯(lián)系。比美國疾病控制和預防中心的數據提前一周。檢測流感傳播路徑,他們的判斷很及時。近年來,醫(yī)療行業(yè)面臨著海量數據和非結構化數據的挑戰(zhàn),許多國家都在積極推動醫(yī)療信息化的發(fā)展。因此,大數據技術在醫(yī)學領域的應用前景十分廣闊。
五、結束語
大數據技術在醫(yī)療領域的大規(guī)模應用尚不完全成熟,但隨著高速網絡、云計算中心等基礎設施建設日趨完善和大數據技術的發(fā)展,醫(yī)學領域發(fā)展的趨勢,將是推動大數據技術的個性化、創(chuàng)新化,便利化醫(yī)療。云計算、移動互聯(lián)網和物聯(lián)網技術的快速發(fā)展,全球范圍內數據增長規(guī)模越來越大,大數據將被應用到各行各業(yè),不僅改變了傳統(tǒng)的數據管理模式,帶來了新的思維、業(yè)務轉型和管理創(chuàng)新,提高企業(yè)和公共部門的生產力和競爭力,也會帶來巨大的經濟和社會價值。大數據已成為新發(fā)明和新服務的來源,是社會新的財富。
作者:郭群 單位:遼寧對外經貿學院信息管理系
參考文獻:
[1]張德豐.大數據走向云計算[M].北京:人民郵電出版社.2014.4.1.
關鍵詞關鍵詞:大數據;云計算;媒介
中圖分類號:TP301 文獻標識碼:A 文章編號文章編號:16727800(2013)008000102
作者簡介作者簡介:胡偉(1987-),男,武漢大學新聞與傳播學院碩士研究生,研究方向為網絡傳播 。
1 大數據時代
英特爾創(chuàng)始人戈登·摩爾(Gordon Moore)曾預測,計算機的處理能力大約每隔18個月便增加一倍。隨著互聯(lián)網,尤其是電子商務、社交媒體、智能終端的普及,每天都會產生大量的碎片化數據。以下一組數據可以反映:一天之內在互聯(lián)網上被傳輸、使用、觀看的圖片是2.5億幅;每秒鐘人們發(fā)送290 封電子郵件;每分鐘人們在youtube上傳20h的視頻;人們每月總共在Facebook 上瀏覽7 000 億min;每月移動互聯(lián)網用戶發(fā)送和上傳的數據量達到1.3exabytes,相當于1018bytes;每秒鐘亞馬遜處理72.9 筆訂單;每天在新浪微博上發(fā)表的信息超過1億條……以上的種種無不在宣告一個事實:數據大爆炸的信息時代正在到來,我們即將邁入一個大數據的時代。
最早提出“大數據”時代到來的是著名管理咨詢公司麥肯錫:“數據,已經滲透到當今每一個行業(yè)和業(yè)務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。” 進入2012年,“大數據”(Big Data)一詞被越來越多地提及。人們用它來描述、定義信息爆炸時代產生的海量數據,并命名與之相關的技術發(fā)展與創(chuàng)新。那么何為大數據呢?
對于大數據我們首先想到的是數據量巨大。從TB級別,躍升到PB級別;再次就是數據的非結構化,數據類型繁多,遍布文字、視頻、圖片、地理位置信息等等;第三在于數據的價值密度低。以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數據僅僅有1~2s。最后在于處理速度快,在紛繁浩雜的數據中發(fā)覺問題,能否第一時間處理問題是大數據時代能否制勝的關鍵。
巨量數據正在成為一種資源、一種生產要素,滲透至各個領域,而擁有大數據能力,即善于聚合信息并有效利用數據,將會帶來層出不窮的創(chuàng)新,從某種意義上說它代表著一種生產力。正是基于此,奧巴馬政府將數據定義為“未來的新石油”,并表示一個國家擁有數據的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分,未來對數據的占有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。2012年3月22日,奧巴馬政府宣布投資2億美元拉動大數據相關產業(yè)發(fā)展,將“大數據戰(zhàn)略”上升為國家意志。聯(lián)合國也在2012年了大數據政務白皮書,指出大數據對于聯(lián)合國和各國政府來說是一個歷史性的機遇,人們如今可以使用極為豐富的數據資源,來對社會經濟進行前所未有的實時分析,幫助政府更好地響應社會和經濟運行。
綜上所訴,我們不難看出,未來的時代必將是一個大數據的時代,大數據在經濟、政治、文化、社會、軍事等諸多領域定將會給人類帶來翻天覆地的變化。但是,面對海量數據,我們如何從中精確選擇、準確分析進而指導我們的行為呢?
2 大數據時代離不開云計算
提起云計算,我們首先想到的是其無比宏大的計算處理能力,但現今我們也不得不發(fā)出“英雄無用武之地”的感嘆,因為當今云計算依然停留在一個概念化的層面,無論是現今的云存儲還是所謂的云電視,都只是概念化的操作,畢竟缺乏巨大數據處理量支撐的云計算永遠沒有“落地生根”的驅動力。但是,“大數據”時代的到來,宣告著云計算春天的來臨。云計算與大數據的關系是靜與動的關系;云計算強調的是計算,這是動的概念;而數據則是計算的對象,是靜的概念。如果結合實際的應用,前者強調的是計算能力,后者看重的是存儲能力,大數據需要處理大數據的能力,其實就是強大的計算能力;另一方面,云計算的動也是相對而言,比如存儲提供的主要是數據存儲能力,但是主要的關鍵還是在于服務器的處理計算能力,因此云計算可謂是動中有靜,以動為主。
面對大數據時代卷帙浩繁的非結構性數據,傳統(tǒng)的數據統(tǒng)計早已落伍,面對這些問題,云計算無疑是唯一也是最佳的選擇。云計算的核心在于“云”,它可將分散的、非結構性來自于各種終端的數據通過網絡最后都統(tǒng)一到云平臺中,通過云平臺超大量的服務處理器對各種數據進行計算。因此,在大數據時代云計算是處理海量數據最經濟最有效率也是利用率最高的技術選擇。
3 大數據時代云計算對媒介發(fā)展的影響
在2012年中國新媒體峰會上,傳媒夢工場的《傳媒夢工場觀察》對未來傳媒格局做了一個絕非危言聳聽的預測:“未來中國大數據媒體集團不會超過10家,單純依賴廣告的媒體活不過10年,產業(yè)面臨重構,七成以上傳統(tǒng)采編將轉崗,平臺型超級媒體將出現在現有框架之外…”,并大聲疾呼“沒有大數據,免談大媒體”。夢工場的這一預言的根據在于其認為互聯(lián)網對媒介產生的最深刻的變革是,將媒介從一個特殊經濟的部門轉變成一種全民適用的分享工具,在移動互聯(lián)網時代這種轉變尤甚,未來的大媒體集團必然為擁有強大數據庫支撐的平臺型公司。
反思夢工場的結論,我們可以看出盡管現今“大媒體”、“全媒體”的口號在業(yè)界甚囂塵上,但是仔細思考,何為“大媒體”?何為“全媒體”呢?在未來必將是網絡主宰的時代,在智能手機、PAD等智能移動終端日益普及,移動互聯(lián)網高速發(fā)展的時代,傳統(tǒng)媒體難道僅憑單純的平臺融合就可以繼續(xù)生存嗎?答案是否定的。
正如傳媒夢工場總結的那樣,媒介正從一個特殊經濟部門轉變成一種全民適用的分享工具,在移動互聯(lián)網時代尤甚。根據中國互聯(lián)網絡信息中心(CNNIC)的《第30次中國互聯(lián)網絡發(fā)展狀況統(tǒng)計報告》顯示,截至2012年6月底,中國網民數量達到5.38億,手機網民規(guī)模達到3.88億,較2011年底增加了約3 270萬人,網民中用手機接入互聯(lián)網的用戶占比由上年底的69.3%提升至72.2%,手機首次超越臺式電腦成為第一大上網終端。而在手機應用方面手機微博延續(xù)2011年快速增長的勢頭,截至2012年6月底,其在手機網民中的使用率提升5.3個百分點至43.8%,是使用率增幅最大的手機應用。無論是“宜黃拆遷”、“表哥”事件還是“微博反腐”,以微博為代表的社會化媒體正將我們帶入了一個“賦權”的時代,“傳播權”不再是以往媒介的專利,媒介已經成為了“四海之內皆可用”的工具。
可以預見,在移動互聯(lián)網時代,公眾可能不再看報紙、電視,但會通過移動媒體客戶端瀏覽新聞、信息。公眾的終端變得越來越多,的信息不再僅僅是文字、圖片,將來一定會涵蓋音頻、視頻等諸多形式。公眾對互聯(lián)網的依賴程度變得越來越大,在網絡上他可以完成購物、交流、工作等更多的活動。公眾對新聞內容的生產將會有三方面的需求:①及時性。媒體需要在第一時間告訴公眾欲知、未知、應知的消息,困難在于面對未來眾多不同終端的UGC信息,媒體如何做到全面、迅速獲取是關鍵;②個性化。正所謂“一千個讀者有一千個哈姆雷特”,在同質化信息來源泛濫的碎片化時代,如何能迅速準確抓住受眾需求,并提供相應的個性化信息是媒體差異化生存的關鍵;③深度性。深度不僅僅體現在信息的二次多次挖掘,更體現在如何能在最短的時間內提供最具深度的內容,“慢工出細活”在未來信息泛濫的快節(jié)奏時代不再適用。
在媒介發(fā)展從“技術為王”到“內容為王”再到“用戶為王”的背后,宣告了未來一個海量非結構化的碎片數據到來的時代,即大數據時代的到來。在大數據時代誰能對數據做出準確、迅速的反應,誰就有生存下來的本錢。此時,云計算技術對媒體來說至關重要。在大數據時代的媒體必然是“全媒體”,但絕不是單純意義上平臺整合的媒體。他是在云計算技術的幫助下集合成一個大的公有平臺,借助于這個平臺對數據進行處理的同時,進行資源與信息共享。一方面,借助于云計算,媒體才能保證迅速、快捷的從海量數據中去粗存精、去偽存真、“溺水三千,只取所需”進而進行內容的有效加工,同時結合收集到的用戶習慣、用戶實時地點等信息,進行云平臺整合,最終及時提供給受眾個性化信息;另一方面,無論何時,廣告都是媒體生存不可或缺的重要部分,廣告講求投放率,只有在充分收集用戶數據、準確分析的前提下才能針對特定受眾投放相應廣告。因此,在大數據時代,只有借助于云計算的媒體才會真正得到廣告主的青睞,其廣告份額也才會有保障。
4 結語
未來的時代必將是互聯(lián)網的時代,互聯(lián)網的時代伴隨的必然是大數據來臨的時代。在大數據時代,數據就是財富,無論對于企業(yè)、政府還是媒體,收集數據、整合數據、分析數據并做出快速反應都是安身立命之本。對于媒體而言,“受眾就是上帝”,隨著智能移動終端、電子商務、移動互聯(lián)網的快速發(fā)展,受眾的相關數據成幾何級的倍增都是近在咫尺的事情,美國有句諺語“除了上帝,所有人都必須用數據說話”。媒體要想生存就必須對數據做出強有力的反應,在云計算的指引下,媒體的未來任重道遠。
參考文獻參考文獻:
[1] 白云川. 利用大數據的商業(yè)價值[J]. 中國制造業(yè)信息化,2011(20).
[2] IOD.云計算、移動應用點亮大數據盛宴[J].硅谷,2011(22).
關鍵詞:激光雷達測量技術 直升機 云計算 三維激光點云數據
直升機激光掃描技術應用前景廣泛,該技術可應用于輸電線路及變電站的規(guī)劃設計、施工建設、運行維護和三維可視化管理等各環(huán)節(jié)。機載激光LiDAR測量技術采集三維數據具有精度高、信息豐富、數據使用方便等優(yōu)點,并能大大減少野外工作量。
一、項目需求分析
基于對目前國家電網公司范圍內需求調研結果進行分析,針對如何有效提高在復雜地理環(huán)境下、高電壓、大功率、長距離輸電線路的安全性評估,如何真實再現現實環(huán)境中的線路本體和線路走廊,如何量測輸電線路真實的距離這三方面是現階段國網公司在直升機LiDAR技術應用上的主要需求。主要體現在以下幾方面:(1)基于激光點云和線路設計參數,建立線路模型,重現線路走廊三維信息;
(2)經過對采集到的點云數據進行分類、濾波、平滑等處理過程后,生成高精度的數字高程模型DEM、數字正射影像DOM;
(3)行成對點云數據的預處理規(guī)范;
(4)實現輸電線路本體三維逆向建模,構建不同電壓等級、桿塔類型的桿塔模型庫,并以此為基礎通過人工編輯的方式對輸電本體點云進行矢量化,實現桿塔、絕緣子串、導線等實體對象的空間位置匹配;
(5)提供俯視圖、剖面圖等多種視圖對三維線路本體及線路走廊進行展現;
(6)實現對任意地物點、任意線路點的距離量測;
(7)對進行弧垂、覆冰、風偏、導線增容、樹高等模擬基礎上的,任意地物點和線路任意點間的趨勢模擬量測;
(8)考慮在自重、覆冰、風吹等效應作用下,架空線路的弧垂、風偏等對線路相間、線路與周邊地物距離的影響,并結合對應電壓等級系統(tǒng)對安全凈距的要求實現安全距離超限預警;
(9)根據不同電壓等級線路安全距離,沿著輸電線路生成以線路為中心、半徑為安全距離的柱狀通道,系統(tǒng)自動實現通道與樹木(倒落樹木)、建筑等地物之間的空間分析;
(10)根據不同電壓等級線路安全距離,沿著多條交叉跨越線路生成以線路為中心、半徑為安全距離的柱狀通道,系統(tǒng)自動檢測多個通道之間是否存在交集;
(11)模擬導線弧垂及風偏狀態(tài)、輸電線路增容、地質災害地形、輸電走廊內樹木生長等場景;
(12)根據安全評估分析自動出具安全評估報告,并能根據報告在三維場景中實現對安全隱患區(qū)域的標繪。
二、創(chuàng)新點
(1)獨創(chuàng)的輸電線路本體及走廊三維快速建模技術
(2)首創(chuàng)的輸電線路高精度三維量測技術
(3)首次實現了輸電線路動態(tài)安全性評估
(4)獨有的海量存儲混合壓縮算法
(5)首次采用大數據分析技術,進行有效數據分析
(6)平臺與PMS系統(tǒng)集成
三、基于航空Lidar技術的專家評估云計算分析平臺建設思路
基于航空Lidar技術的專家評估平臺,將實現在三維場景中實現巡視計劃的制定及路徑規(guī)劃,巡視過程的跟蹤及結果的時時反饋及預警,對采集結果進行輸電線路安全性評估并生成評估報告。
基于項目重點研究的核心內容以及應用需求,平臺形成快速量測子系統(tǒng)、三維重建子系統(tǒng)和安全評估子系統(tǒng)三個專業(yè)子系統(tǒng),全面滿足業(yè)務生產需求。
(1) 快速量測子系統(tǒng)
快速量測子系統(tǒng)主要基于直升機與激光LiDAR設備的集成組裝,通過與安全評估子系統(tǒng)巡視計劃功能的綜合應用,實現巡視計劃提示與執(zhí)行,形成巡視路線的智能分析設置;在巡視過程中完成三維點云數據的自動快速掃描,并實現安全存儲;為保障直升機的安全與管理要求,直升機實時回傳位置與狀態(tài)信息,滿足系統(tǒng)端的監(jiān)測與歷史記錄要求;系統(tǒng)提供符合專業(yè)要求的三維點云數據存儲與預處理,系統(tǒng)自行檢查并修正數據中可能引起數據處理速度減緩的問題數據,保障后期三維場景的順暢重建。
(2) 三維重建子系統(tǒng)
三維重建子系統(tǒng)主要是為了滿足后期實際應用,將LiDAR采集的初始點云數據進行三維建模,形成數據量較小的實用化數據。為保障三維重建的快速與專業(yè)化,系統(tǒng)實現了三維模型庫建設,完成電力應用中標準化的設施、設備模型及常見場景模型存儲。
(3) 安全評估子系統(tǒng)
安全評估子系統(tǒng)主要滿足直升機巡檢數據的計算與分析,同時提供直升機巡檢計劃制定與監(jiān)測,以及三維圖形展示功能。
四、能夠解決的問題及社會效益
基于航空LiDAR技術的專家評估平臺的建設是滿足電力基礎設施因為經濟高速發(fā)展、人民安全意識不斷增強、現實地理環(huán)境負責多變而需要提供更高的安全運行與穩(wěn)定保障要求,滿足電網信息化建設對數據不斷增強的精度要求,它所產生的社會效益主要包括以下幾點:
(1)直升機激光LiDAR技術的應用可以直接采集線路走廊高精度三維激光點云和高分辨率航空數碼影像,從而可分析線路與走廊地物、導線之間距離等是否滿足安全運行要求,從而及時發(fā)現輸電線路和通道的安全隱患;且在基礎數據的基礎上可實現導線弧垂及風偏狀態(tài)、輸電線路增容、地質災害地形、輸電走廊內樹木生長等多種場景的模擬,進而輔助評估線路安全性,提高輸電線路的安全性保障;
(2)機載LiDAR技術快速、便捷的優(yōu)點,將極大推進電力系統(tǒng)三維可視化、數字化電網建設速度,從而加快為社會展現真實的電網的速度;增強輸電線路及變電站運行、維護、應急搶險和管理水平,提高電網抵御惡劣環(huán)境能力,減少大量的人力、物力、財力投入;
(3)機載LiDAR技術在數據采集上的優(yōu)勢可應用于輸電線路及變電站的規(guī)劃設計、施工建設、運行維護和三維可視化管理等各環(huán)節(jié),從而輔助電力公司規(guī)劃建設安全性高、維護管理成本低、抗險御惡能力強的電力相關設施。
結束語:
基于航空LiDAR技術的大數據專家評估云計算分析平臺全面保證了激光LiDAR技術應用與巡檢質量,進一步促進了直升機巡檢的工作展開?;谥鄙龣C巡視監(jiān)控過程的分析,圍繞如何實現激光操作平臺的集成化改裝、有效提高巡檢工作質量和效率、有效利用巡視數據做出管理決策等角度擬定開發(fā)解決方案,為大規(guī)模建設的智能化電網作出了突出貢獻。
參考文獻:
[1]李福金,秦志偉,基于航空LIDAR點云數據提取城市地區(qū)建筑物的目標.測繪與空間地理信息,2011年3期.