資料快速交換 – VRP(Volume Replication Package)

自己的程式自己寫!

在我們接觸的客戶環境底下,很多時候是需要提供一個高速、安全、穩定的資料備份或者備援方案;而且客戶的資料動輒幾TB,或者是幾十TB,檔案的數量更是異常的多,從一兩千萬個到幾億個都有,再加上為了即時的資料救援而作的資料快照,總數加起來更是不得了!傳統的檔案複製或者是備份的方案,都已經沒有辦法符合。為了這樣的需求, 我們也花了非常非常多的精力與時間在尋找與測試,於是有了 VRP 的開發!

一般市售的儲存設備,對於自身的資料保護或者是備份,都有一定的方案;但是如果碰到是異機或者是異種平台,大部分的設備多只是支援自家的資料互相備份,而且很多還是只能以檔案的格式做資料複製,當檔案數量非常多的時候,這樣的方式就會造成非常大的系統的負載,不只降低的原有儲存設備的效能,同時也降低了資料複製的可靠性。 而比較高階或者是一些進口品牌,就會有自己額外的資料複製方式,通常是以區塊格式做資料複製,如 NetApp 的 SnapVault 或 SnapMirror,EMC 的SnapView 等。而這些設備,有的時候會因為原有自身系統資源不足,而導致資料的複製速度異常的慢,甚至失敗;也有些時候會因為儲存系統本身的新舊韌體版本不相容而導致失敗。我們為了能夠解決像這樣的問題,同時為了能夠跨不同的平台,於是開始開發VRP,讓VRP能夠在 TrzeNAS 與 NexentaStor ,甚至未來新開發的 SDS(Software Defined Storage)上快速地交換資料。

VRP是一個可以跨NexentaStor與TrzeNAS的資料交換神器,VRP是威傑科技在NexentaStor以及TrzeNAS上面獨立開發的一個拿來做資料交換的工具。我們可以很輕易的在NexentaStor把一整個Volume,或者是一個Folder,或者甚至是一個目錄,拿來做快速的資料搬移到另外一台NexentaStor或者是TrzeNAS,反之,從 TrzeNAS 上也可以作相同的事情到 NexentaStor 或另一台 TrzeNAS。VRP的使用有什麼樣的好處?VRP的資料交換是只會傳遞異動的區塊,所以它可以利用很小的頻寬,傳遞非常大量的資料。也因此他可以拿來做非常有效的資料備援,或者是備份的機制。以下是我們的一個客戶實際案例

Himax case study

VRP是利用NexentaStor 或 TrzeNAS的內部引擎,可以快速識別兩個副本之間的文件和目錄差異。通過查找兩個副本之間的差異,避免了傳統備份軟體在增量備份期間對差異文件的掃描過程,將備份處理的資料區塊轉移到另一座NexentaStor 或 TrzeNAS儲存,減少了對新增和異動資料處理所需的時間。實際的客戶使用經驗來看,備份的時間可以大幅減少到約只有原本備份時間的二十分之一,異動資料的傳輸量約只有原本備份資料的0.1%。除此之外透過VRP傳遞過去的資料,是完整的檔案;當使用者不小心誤刪了原有的檔案,系統管理員可以直接從另外一台儲存設備上直接把檔案複製回來,大幅提高了資料的可用性,降低了系統的錯誤率,即使是人為的錯誤。

VRP也可以使用在新舊設備的資料交換上。客戶使用的設備年代已久,硬體廠商已經不再支援的情況下,客戶要用新設備去替換掉原有的舊設備,如何能夠降低客戶在做新舊設備更換時候所受到的影響, 就是一個非常重要的課題了。先前的幾個客戶系統轉移的經驗,25TB的實際使用量,可以在一小時內完成設備的更換;最近一個新的專案正在進行中是36 TB的使用量,預計也是在一小時甚至30分鐘內要完成設備轉移 。

廣告

儲存設備的快照真的不能拿來當純備份嗎?

之前我PO的一篇文章提到,儲存設備的快照不應該拿來當成備份使用;但是儲存設備的快照,真的不適合拿來當備份用嗎?當然不是這樣的!! 但是儲存設備作快照份數多,真的一定要把主要的儲存跟備份用的儲存分開!!

實際案例

以下分享一個我的客戶,實際上如何透過兩種不同的儲存以及快照技術,來達到本機備份備援,以及異地/機備份備援的方式,如下圖一:

Himax case study
(圖一:客戶主要儲存與備份設備架構圖)

如上圖示可以看到,這個客戶在台北、新竹跟台南三個點都各有一個大的辦公室,每一個點辦公室的主要儲存設備,都是我們公司的NexentaStor,作為他們研發人員設計工具產出的資料主要目的地。但是人總有不小心的時候,而且這一個客戶又是一家上市公司,基於各方面的規範,他們必須要做到本地備份以及異地備份,來應付日常研發人員的工作需求,以及上市公司的規範。 但是作為備份的設備,一般的規劃都會是一個冷資料儲存的裝置,大部分都會選擇用磁帶作為備份的設備。但是磁帶的備份曠日費時,尤其是在資料需要回存的時候,時間更是一個最大的考量;同時資料回存的時候,如果需要回存的資料量非常龐大,對於主要的儲存設備,需要挪出額外的空間又是一個很大的負擔。 為了解決備份問題,同時考量設備可以有最大的使用性,因此,我們跟客戶提出用我們公司的另一產品 TrzeNAS 當成備份及異地備份的儲存設備。這樣的設計,可以達到

  1. 資料的快速一致性。
  2. 資料的高度可用性。
  3. 快速地資料複製。
  4. 無痛地資料回存。

 

透過我們開發的 VRP(Volume Replication Package),可以快速地把資料在本地端備份,並且在很短的時間內立刻複製一份到另一座 TrzeNAS,然後再快速地複製到異地的 TrzeNAS 上,立刻達成了D-D-D 的3(份)D備份效果。因為資料都是在 Disk 上,所以當使用者不小心誤刪了資料時,可以非常快速地從 Disk 上回復,實際測試,平均一分鐘可以回存約200GB到500GB的資料量,甚至到TB等級的資料;由於是由 VRP 執行資料備份作業,在本地端幾乎可以達到與主要儲存設備備份資料無時差;又因為全部是在 Disk 上作業,當資料需要回存時,並不需要額外的儲存空間來儲放回存資料。

 

 

 

何謂 VRP (Volume Replication Package)

VRP是利用 Nexenta 與 TrzeNAS 的內部引擎,快速識別兩個Snapshot副本之間的文件和目錄差異。通過查找兩個Snapshot副本之間的差異,避免了傳統備份軟體在增量備份期間對差異文件的掃描過程,從而將備份處理的資料區塊轉移到另一座Nexenta 或 TrzeNAS存儲,減少了對新增和異動資料處理所需的時間。實際的客戶使用經驗來看,備份的時間可以大幅減少到約只有原本備份時間的百分之一,異動資料的傳輸量約只有原本備份資料的0.1%

儲存設備的快照是否可以拿來當成備份用途?

快照不是免費的!!!!

快照不是免費的!!!!

快照不是免費的!!!!

因為很重要,所以要說三次!

很多人以為快照是一個備份的方案,其實快照並不是用來作備份的。我們俗話說,救急不救窮,快照就是屬於救急的一個方案。你想看看如果你的檔案,被使用者不小心刪除了,而且刪除的檔案是一、二千個,簡單說就是一個目錄,那你要怎麼樣可以快速的把使用者的檔案存回到他的原本目錄去呢?這時候快照就派上用場了! 快照就像是時光回溯機一樣,你可以在不同的時間點,根據不同的用途去做檔案系統的快照。但是既然他是快照,就是有所謂的使用期限的;換句話說,你在短時間內的檔案這個是有效益的,放長的時間來看,這就是一個無效益的檔案,所以他跟備份是一點關係也沒有的。

錯誤的示範

然而很多人卻誤解了快照的用意。反正快照的處理方式非常快速,而且非常的精簡,他可以用大約不到原始檔案的千分之一空間,儲存跟原本一模一樣的檔案數量與容量 ,於是在小聰明的MIS管理下,快照就成了備份的一個項目了,而且只有這個備份。這就造成的像我的一個客戶的實際案例,如下圖一:

GMT snapshot usage

(圖一:folder 的總使用量與真正資料跟快照資料分別使用量)

 

各位可以看到,這個的總使用空間大約是13.3TB,真正的資料量其實還不到9TB, 有大約4.5TB都是快照佔用的空間。大家可能會覺得很奇怪,快照不是佔用的空間很少嗎?為什麼在這個案例中快照佔用那麼大的空間?那是因為這個客戶把快照當成備份在使用,他的快照的保留份數,日常的日快照保留90天,也就是90份。另外呢! 針對異動量很大的日間的工作目錄,他每個小時又做一份快照,而這一份快照一天24小時有24份,這樣的快照要再保留7天,所以各位可以算一下他的快照份數其實是超過400份。而且快照的期間是超過90天,當然他的快照使用空間會很大量!因為這是一個錯誤的使用,客戶應該是要把快照跟備份分開來!

GMT volume IO

(圖二:客戶的volume存取每秒資料存取量,並非是少量存取)

GMT snapshot hourly

(圖三:客戶的folder 異動量,並非是少量異動)