1. 
      解決方案

      以客戶爲中心,提供定製化或一站式的全棧解決方案,賦能千行百業

      BG大游大數據存儲系統解決方案
      項目背景

      xx臺新媒體每天產生大量的視音頻媒體節目,爲超過百萬用戶提供多內容、全業務、高質量的節目服務。隨着視頻內容的日益積累、內容分發範圍不斷增大,對生產系統和存儲系統都提出更高的要求,所以建立一套系統完善、安全性高的素材存儲系統便是如今最重要的工作之一。

      新項目的建設,將爲xx臺新媒體媒資庫存儲提供高性能的數據存儲平臺。滿足存儲空間的同時,還要求存儲系統穩定可靠、高性能、易擴展、易維護等特性。針對xx臺新媒體媒資庫存儲的需求,細化分析如下:

      1.根據當前和近幾年數據容量的增長預估,存儲系統需要提供近500TB的有效存儲空間。

      2.存儲系統具有良好的擴展性,以應對媒資系統擴容後更大存儲規模需求

      3.業務系統要求存儲系統提供3GB/s的穩定帶寬。

      4.高可用存儲,系統具備完善的自治能力,確保數據不丟失,存儲服務不停機。

      5.多協議支持,便於各類服務器和工作站接入並獲取存儲資源。

      6.配置簡潔,維護便捷,方便使用和後期管理。

      方案介紹

      根據用戶的需求並結合用戶的實際應用場景,在該項目中採用PL-XDFS分佈式文件存儲系統,構建海量、高效、可擴展的分佈式存儲系統。

      通過PL-XDFS分佈式存儲系統豐富的協議支持、強大的橫向擴展能力、超高的吞吐性能爲媒資系統提供高性能、動態高可擴展的CIFS/FTP存儲服務。同時結合其強大的動態擴展能力,可隨着業務發展,快速實現性能或容量的動態擴展,大大簡化系統規劃難度、降低前期投入。

      此次方案中配置了5個PL-XDFS節點,每個節點配置24塊8TB硬盤,總裸容量達到了960TB,配合4+1的糾刪碼冗餘策略,考慮到單盤容量較大,出現故障依賴網絡恢復的時間較長,對業務系統的負載影響較大,在每節點內部配置RAID保護,每24顆磁盤配置2組12顆盤的RAID5+HotSpare,因此最終容量利用率爲960TB*20/24*0.8*0.91=582TB。每個節點提供600MB/s的帶寬輸出,總輸出帶寬可以達到3GB/s以上。容量和性能均可滿足業務需求。

      每個PL-XDFS配置2*10Gbe+2*1Gb網卡,5個PL-XDFS節點之間採用萬兆網絡互連,流媒體和新媒體工作站採用萬兆網卡接入萬兆網絡,其他業務服務器通過千兆網卡與每個PL-XDFS的千兆網口實現業務組網。

      PL-XDFS同時支持POSIX/NFS/CIFS/FTP協議, 無需安裝任何客戶端,即可實現多客戶端跨平臺訪問,滿足了媒資平臺不同主機平臺共享訪問媒體資源的需求。

      PL-XDFS除糾刪碼保護外,還支持副本保護,未來對於部分要求更高可靠性的數據,可採用副本方式進行增強保護。

      PL-XDFS的核心是XDFS分佈式文件系統,XDSF是BG大游基於業界領先和廣泛使用的GlusterFS分佈式文件系統,結合技術團隊多年的工程化及系統優化經驗,針對非結構化數據應用環境推出的海量分佈式存儲系統。XDFS可實現動態的容量及性能擴展、卓越的系統高可用性;藉助虛擬化和並行化的卷組、文件系統資源管理,可構建大規模、高性能、動態可擴展的共享存儲架構。XDFS可實現192PB的海量存儲規模、 可線性擴展的高性能。

      方案解析

      1、分佈式存儲集羣,去中心化架構,無需獨立元數據服務器

      2、基於DHT算法智能數據定位,有效提升媒資素材檢索效率

      3、全以太網單網架構,無需專用的光纖通道設備(FC-SAN)

      4、綜合採用RAID、糾刪碼數據保護,有效實現了節點內、節點間的複合數據

      保護,併合理控制了數據修復的系統資源佔用和網絡佔用

      5、標準客戶端設計,無需在業務主機安裝任何客戶端,讓業務主機專注應用

      6、可擴展副本保護,增加關鍵數據的可用性

      7、高密度設備,採用4U/24bay設備,有效降低空間和能耗,合理控制成本

      8、系統無單點故障,數據高可用,存儲服務不停機

      9、系統支持數據分層,未來可增加SSD或SAS,按數據熱點實現自動分級存儲

      方案優勢
      • 軟件定義存儲、彈性的可擴展存儲架構

        PL-XDFS採用完全去中心化的的分佈式文件存儲架構,無獨立元數據服務器設計,消除元數據信息交互瓶頸;Scale-out動態擴展,快速在線增刪節點,最高可實現1024個節點集羣,可管理近100PB的海量數據。

      • 卓越的性能

        PL-XDFS提供分佈式的文件讀寫和共享服務,本次配置的5節點集羣可實現3GB的性能,可管理海量文件,未來可通過集羣擴展,實現100GB的帶寬;支持萬兆網卡及Infiniband網絡,通過RDMA優化併發讀寫性能。並可通過SSD實現數據分層或小文件性能優化。

      • 極高的可靠性與可用性

        PL-XDFS提供副本和糾刪碼兩種數據/集羣保護模式,節點內部還可選RAID保護,用戶可根據應用類型、數據重要性、性能、成本平衡選擇配置模式,實現數據高可用保護和存儲服務高可用保護。XDFS可實現不停機的在線擴展,大大縮減或消除計劃內的停機時間。