Panabit網絡大數據系統分析系統
- 2018-03-04 19:37:00
- admin 原創
- 7615
Panabit對于大數據流量的處理分析已有十年之久，其日志分析系統前端引入探針收集數據，后端統計分析數據日志，單板載可實時處理20Gbps的流量，滿足低端到高端各種網絡環境；可實現對所轄區域范圍內的所有行為進行分析和管理。
Panabit將互聯網數據劃分為11個大類，各個大類有進一步細分為多個子類，子類又可分為多個超子類，總計1000余種常見互聯網協議，對于這些應用信息，Panabit在萬兆環境中可輕松獲取得到。
Panabit大數據網絡分析系統部署說明：
由圖所示：為了提高網絡的可靠性，通過旁路的方式進行部署分析。
首先，在骨干鏈路中引入“分光器”，“分光器”將數據進行復制，然后下發到下層的“分流器”，分流器對接收到的數據進行采集分析，然后將完整的會話數據傳輸給Panabit；
其次，Panabit會對這些信息進一步處理，在這里，Panabit主要完成了兩個角色的功能：審計和日志摘要的下發：
1. 實現安全的審計功能：Panabit同IPS審計類設備配合完成內容的安全審計（同傳統的分光器、分流器比較，優點在于可選擇指定的“應用協議”的數據包鏡像給安全審計設備）將數據進一步處理產生；
2. 大數據信息的基石：Panabit進一步分析處理數據，抽取具有價值的數據，將其生成以syslog為格式的日志摘要信息，存儲到Panalog日志系統里（Panalog硬盤容量的預估：以10G鏈路產生的日志數據摘要為例，一天預估為300G）。
最終，在大數據分析的Hadoop集群系統中，Hadoop將根據Panabit產生的日志摘要信息和自身的“用戶信息系統”相計算，產生最終有價值的“大數據”。
大數據的處理的基石在于能夠在萬兆的大網絡環境下處理數據游刃有余：
Panabit大數據流量處理的核心技術：
1. DPI
傳統的IP包流量識別和QoS控制技術，僅對IP包頭中的“5Tuples”,即“五元組”信息進行分析，來確定當前流量的基本信息，傳統IP路由器也正是通過這一系列信息來實現一定程度的流量識別和QoS保障的，但其僅僅分析IP包的四層以下的內容，包括源地址、目的地址、源端口、目的端口以及協議類型，隨著網上應用類型的不斷豐富，僅通過第四層端口信息已經不能真正判斷流量中的應用類型，更不能應對基于開放端口、隨機端口甚至采用加密方式進行傳輸的應用類型。要準確識別網絡應用，需要借助復雜的第7層識別技術。現在大量的網絡應用包括P2P、即時通訊、網絡游戲等等，都具備了跳躍端口、隨機端口、自定義端口，甚至偽裝或者盜用一些常用服務的協議端口進行通信傳輸，所以通過對端口對它們進行識別顯然是遠遠不夠，傳統的流量限速設備無能為力。所以，網絡數據包必須在應用層面（Application Layer）上進行檢查，即對傳輸協議如TCP協議的載荷（Payload）部分進行檢查，以判斷它們是否符合代表某種應用的特征簽名。Dpi——Deep Packet Inspection，深度包檢測技術，DPI將網絡上的數據報文根據五元組分為若干個的應用流，并通過識別技術對應用流中的特定的數據報文進行探測，從而確定應用流對應的應用或者用戶動作。
Panabit的DPI引擎，將傳統DPI技術中的基于“特征字”的識別技術、應用層網關識別技術、行為模式識別技術有機的整合起來，有效的靈活的識別網絡上的各類應用，目前，產品支持1000多種協議和應用的自動識別，從而為用戶提供全面的、有效的、靈活的大數據處理基石。
2. DFI
DFI——Dynamic Flow Inspection，動態流檢測技術，DFI采用的是一種基于流量行為的應用識別技術，即不同的應用類型體現在會話連接或數據流上的狀態各有不同。例如，網上IP語音流量體現在流狀態上的特征就非常明顯：RTP流的包長相對固定，一般在130～220byte，連接速率較低，為20～84kbit/s，同時會話持續時間也相對較長；而基于P2P下載應用的流量模型的特點為平均包長都在450byte以上、下載時間長、連接速率高、首選傳輸層協議為TCP等。DFI技術正是基于這一系列流量的行為特征，建立流量特征模型，通過分析會話連接流的包長、連接速率、傳輸字節量、包與包之間的間隔等信息來與流量模型對比，從而實現鑒別應用類型。DFI技術通過行為特征鑒定一個基于會話的應用，比較適合用戶檢測加密應用協議。
3. PSDL
PSDL ——Protocol Signature Description Language，協議特征描述語言，使得維護協議特征庫更加及時方便快捷，通過微編譯器和引擎，確保協議數量的可擴展性和靈活性。
一． 網絡審計的分類和特點
目前，網絡審計主要分為兩類：基于行為的審計和基于內容的審計。行為審計，分析記錄用戶的上網行為，以此作為判斷用戶習慣、定位網絡問題和提取關鍵安全數據；內容審計，還原記錄用戶上網的內容，常見的包括：郵件、網頁和IM聊天內容等，經常配合在用戶內容中使用關鍵字匹配等技術，對用戶的上網內容進行監控。
行為審計和內容審計兩者應用的趨勢：
1. 大數據環境下的部署：
行為審計的信息主要來自于數據重組后提取的日志摘要信息，這些日志的數據量已非常龐大，產生的數據存儲和管理已接近大數據處理的極限，而內容的審計相較行為審計在還原內容上需要耗用更多的存儲空間和系統資源，后臺更是無法負擔，所以，在大數據環境中主要以行為審計為主。
2. 用戶的認同度：
我想沒有多少用戶愿意將隱私完全的暴露出來給別人窺視，尊重用戶的隱私是行為類審計最基本的原則，這也是為什么市場主要以行為審計產品為主，相反，實施內容審計由于內容上的完全透明化可能在無形當中給員工產生壓力，做事瞻前顧后，降低生產效率。
3. 技術上的可行性：
內容審計的方法依賴于客戶的網絡協議是明文，或者是可以逆向破解的協議。隨著互聯網的發展，明文協議正在迅速減少，取而代之的是大量的加密協議和私有協議，這些協議都是內容審計無能為力的。以QQ為例，早期QQ版本內容非加密，客戶聊天記錄都可以記錄，而現在的QQ協議為全程加密，目前對于此類加密內容還原只能依靠“網關+客戶端”的模式進行，沒有其他辦法解決加密的內容還原。因此，內容審計的道路，在企業端和ISP端，基本已經失去了光輝。
4. 審計市場的需求：
網絡審計主要應用在網絡故障的診斷（網絡卡頓等疑難問題）、運營商下用戶行為的大數據分析（用戶退網預警，個人寬帶私售政企用戶，聚類客戶分析（家庭主婦、游戲玩家等））、執法部門IP落地（對NAT后的內網做IP落地，對URL/QQ/Weibo/taobao等信息進行IP定位和落地，配合網絡安全等工作），而在這些領域行為審計在性能的處理上做的更為出色，內容將逐漸淡出市場。
二． Panabit行為審計
Panabit大數據網絡分析系統是專門針對網絡上的行為分析而設計開發的一款管理工具，配以先進的管理控制引擎和靈活多樣的管理控制策略，實時分析網絡活動，匹配管控策略，并生成豐富的統計報表，能夠滿足企事業單位、政府機關、金融電信、學校教育行業等各種Internet互聯網使用單位的網絡行為審計需求。旨在幫助管理者全面了解網絡的狀況和使用情況，提高網絡使用效率和工作效率，最大限度避免不當行為帶來的潛在風險和損失。
Panabit審計日志的主要內容有：
1. 流量會話日志
流量會話日志是用來統計分析每個IP下的具體信息（比如：上下行流量的流向問題、速率以及該IP下的等具體應用）。該日志在運營商里可幫助其進行流量流向的統計分析和具體應用的歸屬，判別本地資源是否被有效的利用提供依據，從而根據具體內容進行網絡優化，降低本地出口成本。在企業里環境里，可以根據不同應用所占的比例分析計算工作效率的損失計算。
2. NAT日志
NAT是將內部一組私有IP地址轉換為可供訪問Internet的外部公有地址，解決了IPv4地址枯竭的問題，但這樣導致了內網地址和外網地址的不一致，網絡提供商經常被監管部門要求提供相關的日志信息，典型的場景是監管部門通過內容服務或應用服務查到相關的互聯網IP地址，IM帳號，訪問URL等信息，在通過這些信息來反查訪問者內網IP地址，以便鎖定嫌疑人。Panabit日志審計系統采用高性能的探針收集并處理數據給管理日志平臺，使日志審計可以毫無壓力的處理各種大小環境。
3. URL日志
URL的日志既是審計部門常用的審計手段，又是作為一個公司衡量辦公效率的依據。Panabit日志審計具有準確完善的URL分類庫，這些分類庫是根據國內用戶當前情況進行的合理采集和分類，符合我國用戶的網絡使用環境的需求，分類結果較為準確，基本覆蓋了在國內用戶中有一定訪問量的URL地址。
4. 帳號日志 （QQ/weibo/taobao/POP3）
帳號日志的審計是網絡安全審查和取證的一個必不可少的重要環節。尤其是在公安部門的審查活動中，帳號登錄查詢已是審計的常態之一，保證登錄信息的完整性已是刻不容緩的任務，然而在大網絡環境當中，在SMB市場中大放異彩的UTM審計設備已失去原有的價值，大環境需配備專業的日志審計系統，Panabit卓越的數據處理性能完美解決了這一問題，為審計取證有據可依。
5. DNS日志
對于運營商來說可能沒有比維護DNS服務更為重要的事情了，因為在Internet當中的大小服務都是依靠DNS為基礎運營的，可以毫不夸張的說DNS是Internet的中樞神經，所以，相對運營商來講分析統計DNS是很有必要的事情，DNS的分布可以很好的反映當前網絡運營的效果。
三． 產品部署
Panabit大數據網絡分析系統可以采用路由、網橋、旁路三種方式靈活部署，通過分析處理流入和流出的數據包，可有效的實現對網絡數據的監控審計。
1. 路由模式和網橋模式都屬于串聯式的部署模式，都是通過將審計系統直接串接在用戶網絡鏈路中實現的。網橋模式可以實現對內網數據監控、控制和管理功能，主要適用于不希望更改網絡結構、路由配置、IP配置的用戶使用；路由模式可以實現對所有數據的審計、控制和攔截功能，適用于對網絡拓撲的更改不敏感的用戶使用；
2. 旁路部署模式，是采用與交換機的鏡像端口相連，通過抓包的方式，實現對網絡數據的審計。它的優點是可靠性高，安全性好，不增加網絡延遲，設備故障時不影響整個網絡運行。
四． 總結
簡而言之，從各種各樣類型的數據中快速或得有價值信息的能力就是大數據技術。Panabit大數據網絡分析系統以卓越的探針識別和處理能力為基礎，為網絡服務提供統計分析處理功能，大到電信運營商，小到SMB市場，為高速發展的網絡市場注入新鮮的活力，以做新一代網絡大數據行為分析系統為目標面向廣大用戶，為其提供服務，并贏得了用戶的高度信任和肯定！
發表評論
文章分類
聯系我們
| 聯系人： | 楊經理 |
|---|---|
| 電話： | 0371-65523500 |
| 傳真： | 186_0371_9500 |
| Email： | co@networkpower.cn |
| 微信： | networkpower.cn |
| 地址： | 鄭州市金水區中州大道黃河路口金成時代廣場12號樓17樓1712室 |
