解決方案

        以客戶爲中心,提供定製化或一站式的全棧解決方案,賦能千行百業

        BG大游大數據平臺建設解決方案
        項目背景

        xx網安支隊規劃在全區的網吧、大型連鎖門店、重點路段公共電話亭及公共汽車站等重點區域部署移動終端硬件特徵採集設備,對區域內的移動終端設備進行監控。實現數據採集、實時回傳、數據彙總(數據倉庫)、進入報警及軌跡追蹤等功能,爲公安機關在公共 WIFI 管控工作中提供有力的抓手。


        隨着XX網安投入的採集設備的增多,數據接入量的增大,業務分析場景愈加複雜,這些都要求有更強大的數據倉庫支撐。原有的基於RDBMS 數據倉庫已經接近性能瓶頸;所以上海XX網安迫切需要一種更先進的技術,既能解決當前遇到的問題,也能滿足未來業務發展 需求。RDBMS 遇到的問題主要體現在如下四個方面:

        1、數據 ETL 耗時越來越長,無法滿足目標系統對數據的時效性要求,關鍵任務的 SLA不能得到保證。

        2、RDBMS 性能優化(index & partition)無法逾越 I/O 瓶頸,同時,數據倉庫不斷增加 index 和 partition 也增加了系統在加載時的資源消耗,同時增加了系統維護度。

        3、由於性能原因,使隨機查詢能力受限,檢索場景僅支持7天數據,無法針對較長時 間軸進行實時追蹤。

        4、目前的系統架構不支持線性擴展,使數據的存儲得到制約,擴容需要花費高成本以 購買大型設備,即便如此,也無法控制數據增長帶來的性能處理壓力。







        下圖是基於BG大游大數據平臺的架構設計及數據流轉:



        方案介紹

        尺寸

        2U機架式服務器,86.1mm()* 447mm()* 790mm()

        CPU

        配置兩顆6230R/26C/52T/主頻2.1GHz處理器

        硬盤位

        提供123.5寸硬盤槽位,配置2960G SSD系統盤、104TB數據盤

        網口

        4個千兆電口,4個萬兆光口(含4個萬兆光模塊)

        RAID

        2G緩存RAID陣列卡(支持RAID0 1 10 )並配置超級電容

        PCIE插槽

        配置至少4PCIe插槽

        電源

        配置2個交流電源模塊,1+1

        操作系統

        Centos7.6



        BG大游大數據一體機(PR2715P2)是BG大游公司最新推出的一款2U服務器產品,它採用Intel C620系列高性能芯片組,支持第二代Intel® Xeon® Processor Scalable可擴展系列處理器,該機型最多支持內存容量3 TB,默認支持8塊熱插拔3.5寸硬盤,可選支持12盤/24盤版本,並可靈活擴展全高全長的PCI-E設備。高集成度的設計在有限空間內帶來強勁的性能表現足以支撐關鍵任務的運行。PR2715P2提供先進的管理功能和存儲技術,具有可靠的可擴充性和高可用性。

        方案解析

        主要流程是採集設備收集到源數據後,經過光柵,一部份數據會傳輸到 ftp 服務器,數 據調度服務器發現 ftp 服務器有新數據到來,會對數據進行清洗整合,然後彙總到 inceptor 數據倉庫以及 hyperbase 檢索庫中,另一個部分數據直接通過分佈式消息隊列,進入到 hyperbase 檢索庫中,前臺應用系統便可對數據進行訪問和使用。

        方案優勢
        • 優秀的數據存儲和處理能力

          截止到目前爲止,上海XX網安已經完全替換了之前的RDBMS數據庫,且平穩運行1 年左右,累計存儲150T數據,周增長數據量在4t左右,前端應用系統反饋良好,隨着近年來公安業務的不斷開展,和硬件設備的不斷補充,存儲量和處理量的不斷增加,TDH大數據平臺通過線性擴展完全可以滿足要求。

        • 快速的分析查詢

          單用戶分析快速查詢採用了BG大游hyperbase組件進行實現,通過BG大游強大的sql支持以及jdbc接口,再配合BG大游的全文搜索引擎search組件,能夠以優越的低延時響應速度 查詢準確結果,保障業務的穩定運行。