儲存設備的RAID Group該怎麼設定呢?

RAID 有那些?

先提一下,傳統的儲存設備做RAID層級,有所謂RAID 0/1/2/3/4/5/6,常見的大概就是RAID 0/1/5/6,或者是做RAID10/50/60。一些特殊的公司的產品就會有特殊做RAID的方式例如說做RAID3(如EMC 的VNX 儲存設備),或是做RAID4(如NetApp 的FAS儲存設備)。ZFS儲存設備的 RAID,就分成stripe, mirror, RAIDZ1/Z2/Z3,相當於傳統的 RAID 0/1/5/6/7(目前其實未真有定義) 。但因為ZFS的儲存是以一個資源池的概念做定義,所以相對上也有較多類似傳統RAID 10/50/60。

那種 RAID 層級比較好?

就我的認知,這個其實沒有標準答案的! 每個人其實都應該是依自己的實際使用狀況跟實際使用環境,去設計不同的RAID group,給自己的應用程式。一般我們建置給客戶的環境 ,部分都是建類似傳的R50或是R60,見識如傳統的R10的客戶其實很少,主要原因是客戶成本的考量居多。如果客戶建置R10的話,它的實際可用空間跟一般建置R50來比,大概只有R50的一半左右;但是建置R10的效能一定會比R50來的好,安全性來得高嗎? 其實並不見得!

有沒有不會壞掉的RAID建置?

請問有沒有不會壞掉的儲存設備?

所以,

備份很重要

備份很重要

備份很重要

備份很重要

備份很重要

 

廣告

儲存設備如何防範病毒與勒索軟體的入侵

這幾天大概全台灣或是全世界的MIS人員都忙翻了,為什麼呢?因為一個來自於美國NSA(現在有人說北韓,反正就是系統漏洞)的勒索軟體大規模的侵犯全世界的電腦,只要你跑的是Windows的作業系統,幾乎無一倖免; 其實資訊安全是重要的一環,但是很多時候使用者的使用情況,是MIS工程師無法想像的。

第一線的防護

5/12開始就陸陸續續有傳出新的一個勒索軟體的消息,第一線的防護應該要怎麼做?這個有裕笠科技的專業,大家如果有興趣可以去看一下它的連結,我就不多提了

http://ns2.ublink.org/viewtopic.php?f=27&t=5954

第二線的防護 / 補救

我們主要是做儲存解決方案的,當然就是做儲存方面相關的一些防護措施或者是補救方式來作討論。首先第一道當然就是個人端的電腦,因為大部分的感染途徑都是從這裡發動第一波攻擊,只要有某個人點了來路不明的勒索軟體連結之後,大概很快的全公司的網路就全部通通會中毒了。病毒的散播不在我們這個討論! 我們要討論的是如何去防範被病毒加密之後,或者是人為的疏失誤砍了,或者是其他的硬體因素導致檔案不見的情況,我們可以怎麼去補救。其實大家會說的都是勤備份!

備份!! 備份!! 備份!!

的確,要保護你重要的資料不二法門,就是勤做備份備份。這分兩個部分,如果公司裡面一些個人的重要資料是放在個人電腦裡,這時候可能需要詢問公司是否有集中式的儲存空間,可以去作為備份的空間。 如果有的話可以使用Windows 內建的robocopy,或者是其他的一些免費的檔案複製軟體。若是沒有,可能自己要想辦法利用其他的儲存媒體,例如隨身碟來作備份的空間。

自動化的儲存及資料保護

但若是企業內有集中式的儲存空間但是備份要有每個人去運作恐怕執行上會有困難因為人總是健忘的。所以在我們的儲存解決方案中除了傳統的robocopy的方式以外,也可以透由我們另外提供的TFSync 或者syncthing 來做即時的資料防護,或者是日常的備份作業;同時結合上儲存設備內部的快照機制,可以讓資料儲存在媒體上有更好的一個資料防患。

儲存設備內建防毒

當然如果儲存媒體內部就有內建防毒的機制那就更好了! 像我們的儲存設備 NexentaStor 以及 TrzeNAS都有內建的防毒,但是防毒總不可能可以防一輩子,也不可能有100%的方式防毒,所以做好必要的補救措施才是關鍵。

客戶的實際案例: 一小時內25 TB的資料轉移

先前有提到有一個客戶有25 TB的資料使用量,因為系統太過老舊所以要做整個機器的升級,引起非常多人的好奇跟討論,為什麼要做這件事?這次就來把詳細的情形說清楚。

緣起

先來把這個客戶的儲存設備背景資料做個介紹:

客戶是2010年買的Nexenta,一開始只是買小量的16 TB;為了效能的考量,所以我們選擇用單顆是1TB的硬碟,並且把這16顆硬碟規劃成一個儲存池(storage pool),姑且我們叫他 vol1 ;用了大約3年之後,空間不夠了客戶希望在擴充這個機器的使用空間,所以我們就再擴增了16 TB,但這時候的1TB硬碟已經很難買到。所以跟客戶討論完之後,我們改用單顆2 TB的硬碟作為新的儲存池,姑且我們叫他vol2,就這樣一路用到去年。

發想與難題

年初因為客戶的機器用了7年,有些原有的設備廠商已經不再維護,例如硬碟櫃;在跟客戶討論完之後,我們就決定了請客戶買一套新的儲存,我們把原先所有的資料轉移到新的儲存上,並且控制最短的停機時間,讓RD的工程師不至於因為資料轉移而造成太大的工作停止負擔。

準備

新的儲存是一座48 TB的儲存,用的是單顆2TB的硬碟做成一個儲存池,姑且我們叫他 vol;這時候問題來了,我們要怎麼樣達到新舊儲存設備切換可以控制在一個小時之內完成?因為這除了牽涉到新舊儲存設備的更換,還有是客戶端的NIS主機上面帳號以及設定的切換。資料的轉移部分,我們是使用自行開發的VRP程式,除了可以快速的把資料轉移到另一個設備去以外,還可以接續上次傳完之後,跟下一次的資料轉移中間的資料異動差異,VRP只有傳遞轉移的異動區塊,就可以把所有異動的資料,轉移到第二座儲存,這也是為什麼這個客戶可以在一個小時之內,把所有資料轉移的事情做完的主要大功臣。

實作與驗證

實際的操作過程中,很順利的我們最後一次的資料轉移,總共花不到20分鐘。當然在這20分鐘內,我們把所有的工程師的連線全部都斷線,以避免RD工程師再有新的資料寫進舊的儲存設備去。在做完最後一次異動的資料轉移之後,我們接著把所有客戶NIS的設定做完修正之後,重新派送,再把原本舊的儲存設備的網路實體連線到新的儲存設備去,整個的轉移就完成了!! 轉移的過程前前後後其實不到30分鐘,再把環境的驗證跟資料的驗證時間加起來,全部就是在一個小時之內完成,達成了客戶希望我們在一小時之內完成的目標。

如果你對VRP的使用還是有問題,可以請你去參考我們另外針對VRP所寫的一篇。

https://infowizeblog.wordpress.com/2017/04/22/%E8%B3%87%E6%96%99%E5%BF%AB%E9%80%9F%E4%BA%A4%E6%8F%9B-vrpvolume-replication-package/

資料快速交換 – VRP(Volume Replication Package)

自己的程式自己寫!

在我們接觸的客戶環境底下,很多時候是需要提供一個高速、安全、穩定的資料備份或者備援方案;而且客戶的資料動輒幾TB,或者是幾十TB,檔案的數量更是異常的多,從一兩千萬個到幾億個都有,再加上為了即時的資料救援而作的資料快照,總數加起來更是不得了!傳統的檔案複製或者是備份的方案,都已經沒有辦法符合。為了這樣的需求, 我們也花了非常非常多的精力與時間在尋找與測試,於是有了 VRP 的開發!

一般市售的儲存設備,對於自身的資料保護或者是備份,都有一定的方案;但是如果碰到是異機或者是異種平台,大部分的設備多只是支援自家的資料互相備份,而且很多還是只能以檔案的格式做資料複製,當檔案數量非常多的時候,這樣的方式就會造成非常大的系統的負載,不只降低的原有儲存設備的效能,同時也降低了資料複製的可靠性。 而比較高階或者是一些進口品牌,就會有自己額外的資料複製方式,通常是以區塊格式做資料複製,如 NetApp 的 SnapVault 或 SnapMirror,EMC 的SnapView 等。而這些設備,有的時候會因為原有自身系統資源不足,而導致資料的複製速度異常的慢,甚至失敗;也有些時候會因為儲存系統本身的新舊韌體版本不相容而導致失敗。我們為了能夠解決像這樣的問題,同時為了能夠跨不同的平台,於是開始開發VRP,讓VRP能夠在 TrzeNAS 與 NexentaStor ,甚至未來新開發的 SDS(Software Defined Storage)上快速地交換資料。

VRP是一個可以跨NexentaStor與TrzeNAS的資料交換神器,VRP是威傑科技在NexentaStor以及TrzeNAS上面獨立開發的一個拿來做資料交換的工具。我們可以很輕易的在NexentaStor把一整個Volume,或者是一個Folder,或者甚至是一個目錄,拿來做快速的資料搬移到另外一台NexentaStor或者是TrzeNAS,反之,從 TrzeNAS 上也可以作相同的事情到 NexentaStor 或另一台 TrzeNAS。VRP的使用有什麼樣的好處?VRP的資料交換是只會傳遞異動的區塊,所以它可以利用很小的頻寬,傳遞非常大量的資料。也因此他可以拿來做非常有效的資料備援,或者是備份的機制。以下是我們的一個客戶實際案例

Himax case study

VRP是利用NexentaStor 或 TrzeNAS的內部引擎,可以快速識別兩個副本之間的文件和目錄差異。通過查找兩個副本之間的差異,避免了傳統備份軟體在增量備份期間對差異文件的掃描過程,將備份處理的資料區塊轉移到另一座NexentaStor 或 TrzeNAS儲存,減少了對新增和異動資料處理所需的時間。實際的客戶使用經驗來看,備份的時間可以大幅減少到約只有原本備份時間的二十分之一,異動資料的傳輸量約只有原本備份資料的0.1%。除此之外透過VRP傳遞過去的資料,是完整的檔案;當使用者不小心誤刪了原有的檔案,系統管理員可以直接從另外一台儲存設備上直接把檔案複製回來,大幅提高了資料的可用性,降低了系統的錯誤率,即使是人為的錯誤。

VRP也可以使用在新舊設備的資料交換上。客戶使用的設備年代已久,硬體廠商已經不再支援的情況下,客戶要用新設備去替換掉原有的舊設備,如何能夠降低客戶在做新舊設備更換時候所受到的影響, 就是一個非常重要的課題了。先前的幾個客戶系統轉移的經驗,25TB的實際使用量,可以在一小時內完成設備的更換;最近一個新的專案正在進行中是36 TB的使用量,預計也是在一小時甚至30分鐘內要完成設備轉移 。

儲存設備的快照真的不能拿來當純備份嗎?

之前我PO的一篇文章提到,儲存設備的快照不應該拿來當成備份使用;但是儲存設備的快照,真的不適合拿來當備份用嗎?當然不是這樣的!! 但是儲存設備作快照份數多,真的一定要把主要的儲存跟備份用的儲存分開!!

實際案例

以下分享一個我的客戶,實際上如何透過兩種不同的儲存以及快照技術,來達到本機備份備援,以及異地/機備份備援的方式,如下圖一:

Himax case study
(圖一:客戶主要儲存與備份設備架構圖)

如上圖示可以看到,這個客戶在台北、新竹跟台南三個點都各有一個大的辦公室,每一個點辦公室的主要儲存設備,都是我們公司的NexentaStor,作為他們研發人員設計工具產出的資料主要目的地。但是人總有不小心的時候,而且這一個客戶又是一家上市公司,基於各方面的規範,他們必須要做到本地備份以及異地備份,來應付日常研發人員的工作需求,以及上市公司的規範。 但是作為備份的設備,一般的規劃都會是一個冷資料儲存的裝置,大部分都會選擇用磁帶作為備份的設備。但是磁帶的備份曠日費時,尤其是在資料需要回存的時候,時間更是一個最大的考量;同時資料回存的時候,如果需要回存的資料量非常龐大,對於主要的儲存設備,需要挪出額外的空間又是一個很大的負擔。 為了解決備份問題,同時考量設備可以有最大的使用性,因此,我們跟客戶提出用我們公司的另一產品 TrzeNAS 當成備份及異地備份的儲存設備。這樣的設計,可以達到

  1. 資料的快速一致性。
  2. 資料的高度可用性。
  3. 快速地資料複製。
  4. 無痛地資料回存。

 

透過我們開發的 VRP(Volume Replication Package),可以快速地把資料在本地端備份,並且在很短的時間內立刻複製一份到另一座 TrzeNAS,然後再快速地複製到異地的 TrzeNAS 上,立刻達成了D-D-D 的3(份)D備份效果。因為資料都是在 Disk 上,所以當使用者不小心誤刪了資料時,可以非常快速地從 Disk 上回復,實際測試,平均一分鐘可以回存約200GB到500GB的資料量,甚至到TB等級的資料;由於是由 VRP 執行資料備份作業,在本地端幾乎可以達到與主要儲存設備備份資料無時差;又因為全部是在 Disk 上作業,當資料需要回存時,並不需要額外的儲存空間來儲放回存資料。

 

 

 

何謂 VRP (Volume Replication Package)

VRP是利用 Nexenta 與 TrzeNAS 的內部引擎,快速識別兩個Snapshot副本之間的文件和目錄差異。通過查找兩個Snapshot副本之間的差異,避免了傳統備份軟體在增量備份期間對差異文件的掃描過程,從而將備份處理的資料區塊轉移到另一座Nexenta 或 TrzeNAS存儲,減少了對新增和異動資料處理所需的時間。實際的客戶使用經驗來看,備份的時間可以大幅減少到約只有原本備份時間的百分之一,異動資料的傳輸量約只有原本備份資料的0.1%

 如何提昇備份的效能

很多人在問,如何可以加快備份的速度。

這有幾個面向要討論,

1. 目前備份的瓶頸是在備份的 client?還是型態?還是其它?

2. 備份的方式有何改善方式可用?

我們都知道,作D-D的方式備份是最快的。我們有個案例,客戶希望可以在MS SQL2008 或2012上,把二座不同的儲存設備作到幾近同步,資料庫是將近400GB的OLTP系統;我們利用了我們儲存設備上的 VRP 方案,作到每分鐘資料資料同步一次,而且SQL資料庫可以異機上在不到五分鐘把資料庫打開。這個案例我們可以另外開一個論述來談。

當然最近也有一個客戶,也是使用我們的 Nexenta 儲存,原本的只是拿來作RD作 file server用途;但因為資料量愈來愈大,備份問題就更麻煩。原本的全備份在只有一台LTO2的磁帶櫃下,已經要3-4天才能完成,再加上 Nexenta 的RD資料要備份,時間預估會拉長到一周以上!而這3-4天就沒有辦法作差異備份了,以致客戶在使用者不小心刪除資料時發生沒有備份的情況而造成損失。

我們在這客戶的作法是,利用二台 Nexenta 作異機備援,而第二台異機備援部份,因為有多餘空間,加上原本客戶的備份軟體 NetVault 也是我們熟悉的,因此建議客戶在原本的Nexenta D-D 方案外,再加上 B-D 的方案,在客戶完全不需額外的投資下,將原本的全備份從3-4天降到不到12小時內完成,並且利用磁帶櫃空閒時間,再作D-T完成磁帶的備份,以達到客戶原本 ISO 與外部稽核的要求,將磁帶作異地備份。

在這案例中,原本的備份廠商提井一個百萬等級的備份需求,而且還不確效益會有多大;經過這樣的調整,預計只需要40萬就可以把客戶原本不足的買齊,對現在 IT 預算愈來愈少的情況下,對資訊部門來說,是有絶大的效益的。