big_data_20140812_01

資料虛擬化正在迅速成為新潮流,沒有人會像從前一樣使用存儲服務。

Gartner曾預言資料將會指數級的增長,並預測到資料的末日。根據該市場調查研
究公司介紹,資料末日將意味著,到2017年,三分之一的企業IT部將面臨資料危機。如何避免資料末日發生呢?

問題:過氣的技術

雖然企業的IT部門一直努力應付大量資料,但他們基本上都是依靠舊的方法來管理資料。這些老舊的方法包括執行生產資料庫的備份以及將相關備份複製到相關團隊中,如業務報告,培訓報告,研發報告,品質認證和用戶接受度測試報告。而相關團隊要求資料報告數量隨著時間增長越來越多;同時,資料和資料庫的規模也大大增加了。值得慶倖的是,儘管資料量在不斷增長,好在的是存放裝置的價格正在下降,一些企業的IT主管因此認為他們能夠處理不斷增加的資料數量和處理需求。

不幸的是,企業往往因存儲成本的下降就忽視了更大的存儲管理成本。因為有著如此多的存儲管理需求,儘管存放裝置的成本下降,但管理存儲的總成本仍在不斷上漲。隨著管理需求增加,企業有更大的存儲需求,因此也確實需要花費更多的時間投放在複製資料和資料庫方面。為了減輕配置,一個資料管理的方法是使用檔案系統的snapshot,以提供資料的低存儲複製檔。儘管snapshot技術具備較精簡的優勢,但該技術在很大程度上未有得到充分利用。想利用snapshot提供低存儲的副本簡直難過登天,原因是項目人數過多問題和技術原因。

項目人數過多問題:想配置Thin Cloning需要多人手去辦理,例如系統管理員和至少一個資料庫管理員。通常情況下,任務需要更多的人手,包括經理,網絡系統管理員,備份管理員等。而越多的人員參與其中,任務就需要花費越更多的配置時間去完成。一個小的任務,可能只需要一個小時的配置時間。當有人處於繁忙狀態,配置就可能需要數天的時間,該人員會變成95%或以上的繁忙狀態,但注意通常IT人員有更多的工作要做。越多人參與進來,如資料庫管理員,系統管理者,存儲管理員和網路系統管理員,管理Snapshot所用的時間就越長,這就可能導致幾天和幾周的延遲。

技術因素:所有已被用來實行Thin Cloning的解決方案都需要專門的硬件,相關範疇的專家。這種複雜性,令該技術的採用性帶來了一定的障礙。

解決方法:數據虛擬化

鑒於在資料管理採用Thin Cloning技術的過程中,會出現上述的資料管理技術和項目人數過多問題的兩大樽頸問題,因此,該範疇需要新的工具。IT企業正在學習新的Thin Cloning方法,稱為資料虛擬化,説明企業正解決部署Thin Cloning所需要花費的時間和管理Snapshot過程中所遇到的困難。

資料複製的重要性到底如何?無疑是極重要的。大多數公司的資料都有多個副本,用於研發,品質認證測試,用戶接受度測試,報告,培訓和備份。加快資料複製和消除因資料重複所產生巨大的存儲量,能夠為企業的IT部門帶來更大的靈活性。

資料虛擬化與Snapshot需要相同檔案系統類型,並將Thin Cloning所需技術和所有步驟封裝到一個自助服務介面,這樣,就算是低級的資料庫管理員,甚至是一個開發人員或業務分析師,都可以在幾分鐘內複製沒有存儲配置的大量資料。資料虛擬化依靠Thin Cloning基本技術,增加了自動互相溝通過程的功能,實現了單一軟件的自我服務,可以部署在商品化的硬件上,能夠使用企業內部部署任何存儲,以及雲端,甚至在企業內部部署的存放裝置與雲端之間實行複製。

通過資料虛擬化,Thin Cloning的技術必需消除項目人數過多問題和技術障礙。資料虛擬化提供了一個資料的供應鏈。使用資料的供應鏈,企業用戶可以將資料從一個開發者轉移到另一處開發者,或者從一個團隊轉移到另一個團隊,一個平台到另一個平台,而過程中,均能夠通過Gateway和Private key來確保資料傳遞過程安全。

數據虛擬化:使用案例

資料虛擬化的實際使用案例主要存在於三個方面:

1. 應用程式開發

2. 資料備份和恢復

3. 業務流程啟用

應用程式的開發,不是開發人員產生資料的單一共用副本,不需幾天的時間來確認任何相關模式或當中資料的變化是否有效,不會與其他開發人員發生衝突,資料虛擬化允許每名開發人員都能夠對資料進行複製和修改,無需擔憂當中複製或修改會否影響其他開發人員。因為虛擬化資料的速度很快,而且存儲容量是最小的,很容易讓開發人員得以在多個合併環境中進行測試和驗證,從而進行合併和更改。開發人員可以在幾分鐘內通過虛擬資料將它們的資料傳遞到QA品質認證測試環境,節省基礎設施建設的成本和搭建QA環境所需消耗的時間。同時,因為虛擬環境容易改變,許多環境中可以被分配至QA環境,執行並行測試,進一步加速應用程式的開發。

在資料備份和恢復範疇,資料虛擬化可以提供比傳統的備份更長更細微的視窗,實行更快地連接。利用資料虛擬化,來自不同來源的資料都可收集到一起,可以根據來源產生變化,它們被存儲在一個時間中。可根據想要的時間點進行資料複製。配置資料副本只需要幾分鐘,所以如果有人丟失了生產過程中或邏輯上的資料來源的資料表,一個虛擬的副本都可以在幾分鐘內提取複製,實現資料的配置。然後資料就可以恢復到生產資料庫。傳統的備份解決方案,可能需要幾天或幾小時來解決類似的問題(細細微性也大大降低),而傳統的災難性恢復網站可能會損壞當中的邏輯資料。

最後,通過資料虛擬化解決的最重要的範疇是其對於業務流程的支援。在業務流程啟用方面,企業使用者最為關注的是安全性,合規性,現代化和商業智慧等範疇。在商業範疇中,資料虛擬化給能夠加快業務分析,以低成本獲取最新的資料,並消除了夜間批處理和ETL視窗,提供近乎隨時隨地的連接。對於現代化,資料虛擬化通過省去了轉移移大量資料需要多個副本,使DataCenter轉移更容易,不再是僅僅只允許企業將資料複製到唯一的一個虛擬副本,更可就虛擬複製進行任何更改。例如,如果DataCenter有一個資料來源和四份資料需要複製時,通常需要複製5倍的來源資料,以轉移整個安裝系統,但通過虛擬資料則可能只需要對資料進行單個複製,而如果對所述資料在虛擬化過程中實施壓縮,則可能需要少於三分之一的來源資料。由於虛擬化的過程中不斷保持來源資料變化的時間,所以在幾分鐘內通過一個簡單的介面連接一個舊版本,允許低資源使用和連接舊的資料副本,滿足了合規的目的。最後,由於所有的資料複製是通過一個單一的位置管理,很容易通過掩蔽和監管鏈保證安全,更是對通過資料虛擬化對支援業務流程改造的其中一個粗略概述。

數據虛擬化:新潮流

虛擬化的資料正在迅速成為新的潮流。企業 CIO 們可以充分利用該技術來幫助企業創造新的競爭優勢;當然,那些不密切關注該技術的CIO們則可能需要等待才幾年知道他們被競爭對手追趕的原因。

目前,行業內的一些先鋒企業,如美國銀行,思科,Comcast,易趣網,Facebook,英特爾等等企業均開始在使用資料虛擬化技術了,通過快速連接最新資料,説明他們提高效率達20-50%,從而改變了商業智慧,擴展了其市場。而那些仍然被困在複製舊資料管理模式的企業會越來越落後。最終,只有那些使用了資料虛擬化的企業才能夠獲得進一步的成功。

在過去的20年,資料虛擬化是提高資料流程和開發輸出的方法,以及資料品質的方法。通過消除龐大的基礎設施,項目人數過多問題以及資料庫和資料商業群組,開發環境,配置要求和備份所需時間提高了企業的業務水準。開發環境和商業團隊依靠其生產資料和複製資料庫,以及資料虛擬化可以在幾分鐘內實行所有副本;同時,通過共用所有的副本,幾乎無需花費在存儲上。

與snapshot技術相比,資料虛擬化會自動收集完整資料至資料變化,並將這些資料變化存儲在特定時間,能夠在幾分鐘內通過點擊幾下滑鼠就能夠配置資料到目的地。由於虛擬化的資料是集中管理,整個保管鏈上的資料可以進行審核和管理。資料虛擬化的好處是使企業得以採用該技術來加快完成項目,降低成本,提高靈活性,讓他們獲得超越競爭對手的顯著優勢。

 


 資料虛擬化為企業處理大量資料?!

 https://www.facebook.com/hkitblog