計算機系統(tǒng)分析員通信業(yè)應用報告書

　　摘要】：眾所周知，通信行業(yè)需要有一整套監(jiān)控通信網絡的手段，其工作特點是涉及到的各分站與基站的在地理位置L的分布性，更加需要有在更高一級提供檢測不同分站鏈接情況的手段。一般來講，由于數據都是海量的，所以，如何將整個網絡系統(tǒng)所得的數據及時處理，以便和決策部門的分析相結合，也成為迫切需要解決的重要課題。簡言之，分布性、實時性以及數據海量性是解決整個系統(tǒng)設計和集成的核心問題。

　　【正文】

　　首先，讓我們來討論一下“網管監(jiān)控系統(tǒng)”。由于我參與設計與開發(fā)的這個系統(tǒng)并不是位于基層的分站，其定位在將下屬各分站的主機通信數據(包括數據流量、鏈路負荷、通往其他結點即主機的連通情況等)加以收集，所以對于具體通信事務的底層操作要求并不很高。

　　考慮到上述原因，我們采用了一個地理信息系統(tǒng)開發(fā)平臺Mapinfo并采用Delphi編程，后臺用SQL Server數據庫(這是由于考慮到決策所需要用到的是Microsoft公司的OLAP Service)。在分析和計劃之前，我們先對ITU801標準做了詳細的探討，這只是一個有關子網和鏈路定義以及分層等描述的標準，在聽取了許多分站人員的建議后，將MAPINFO公司提供的一個相關的MAP X的Active X控件嵌入到Delphi程序中，利用MAP X中提供的豐富的類以及操作，比如Object、Layer等實現(xiàn)網管界面，井且加入了子網和鏈路的概念。

　　對屬下的分站可以隨意地組合成為不同子網，而且實現(xiàn)了放大與縮小的功能，大致可以將整個地區(qū)的分站集中在一張地圖中，能顯示在屏幕上，這時，只是顯示出各個分站的概要，小到可以顯示出某臺主機的機柜、機柜直到插件板(因為這些都要實時監(jiān)控)。

　　我們采用了分層的方法來實現(xiàn)以上縮放。對于一些靜態(tài)的數據，如分站，主機的位置等則先用Mapinfo公司提供的一套編制地理信息的工具(MAP X是其提供給編程工具的一個Active X控件)做成靜態(tài)的層次圖放置于數據庫中。

　　我們新做成的這套系統(tǒng)通過與各分站的專用線路加以連接，能實時地得到數據，顯示于地圖上，反映出各站、各子網、各鏈路的實時狀態(tài)，并能將控制命令傳回分站(如強制鏈路中斷、路由轉換等)。

　　現(xiàn)在，讓我們來討論其中最為關鍵的問題，即是要將實時控制系統(tǒng)與企業(yè)信息系統(tǒng)加以集成，我們的設想和體系結構大體上可以用一張簡圖表示。

　　在這個體系結構中，由各分站保留著詳細的數據，網管系統(tǒng)則在一定時間間隔內將匯總到的數據作少量統(tǒng)計，抽取其中需要保存的內容放入數據庫，如每分鐘流量，某分站與其他分站每分鐘通信流量，在該分站中某個鏈路的負荷(這些鏈路有可能是動態(tài)分配的，也可能是固定分站之間的通信鏈路)。

　　盡管如此，數據仍然是海量的，因此，如果要把這些數據都直接送到各個決策部門，比如送給市場部門是不現(xiàn)實的。所以，我們在數據庫的基礎上建立了數據倉庫，確定了客戶、時間、通信量、計費和故障等幾個數據倉庫的主題，每隔一定時間對數據庫中的原始數據進行清理與抽取等預處理工作，建立好數據倉庫。這里的預處理包括了許多方面的內容，比如有建立計算時間，但是無計費的(計費值為零)的數據，應視為建立失敗的無效數據，需要予以剔除;某些企業(yè)租用的是專用線路按月計費，中間的通信因此無計費的一些有關記錄也應剔除等。

　　在預處理之后，再利用OLAP Service的分析將數據融合與匯總。按照決策部門的需要提供相應數據(比如：市場部門需要每一分站的收益，客戶分布情況以及客戶費用等)。這些都可以由OLAP Service對數據作預先處理，此時處理完的數據在邏輯上是以立方體(CUBE)形式存在的，其占用的存儲空間便能顯著地降低。

　　如1999年8月有2000萬條通訊記錄，即使形成作為備份的文本都需要4G空間，經過OLAP Service處理后僅需200M左右空間，因此，經處理后的數據主要存放于另外的相關部門的機器中，而不能與主服務器放在一起。

　　最后，再來討論由決策人員所使用的系統(tǒng)。由于這些部門并不分散，我們就沒有采用OLAP Servce的Web發(fā)布方案。采用Delphi編制了訪問OLAP Service的客戶端軟件，用了OLAP Service提供的、Cube Browser控件，用相似于網頁的界面提供了數據立方體的各種操作，如上鉆(觀察角度從月轉到季度甚至年)。

　　切片，旋轉等操作。為了便于輸出打印數據，還內嵌了Microsoft的Excel數據透視表，可以將在Cube Browser上所看到的數據轉化為Excel的表格形式，或者轉換成餅形圖、柱形圖和曲線圖等，比如可以觀察每天24小時通信流量的分布曲線圖，可以發(fā)現(xiàn)在夜間12點以后明顯通信流量減少，而決策部門便可制定某些優(yōu)惠或減價措施吸引更多客戶在12點之后使用網絡。

　　另外，在采用OLAP Service中的數據挖掘功能時，其中提供的兩類算法分別是基于決策樹的分類和基于決策樹的聚類，市場部門的聚類算法將客戶根據費用情況加以聚集，以期發(fā)現(xiàn)處于同一消費水平的客戶的共同特征，便于制定政策，吸引客戶。這方面的努力我們將會進一步持續(xù)進行，以保證有足夠的海量數據而發(fā)現(xiàn)其中的規(guī)律。

　　整個系統(tǒng)運行后，其數據采集，數據處理等一系列工作都由程序定期地自動進行，該系統(tǒng)應用已有一段時間，受到了不少好評。當然，也發(fā)現(xiàn)了其中有不少問題，比如;主服務器數據庫的容量問題，主站與分站的通信效率問題，還有在網管系統(tǒng)中，網絡故障的確定還不夠細致，需要由分站再具體化加以確定，決策系統(tǒng)與網管系統(tǒng)之間還缺少直接通信手段等，這些都有待于進一步的解決與改進。

　　實時控制系統(tǒng)與企業(yè)信息系統(tǒng)集成化是推動從事生產制造、測量與監(jiān)控等業(yè)務的企事業(yè)單位真正邁向信息化，提高工作效率的一個重要動力。如果是大型企業(yè)，更需要有一整套的系統(tǒng)，支持Web發(fā)布，智能查詢，自動識別如用于故障預測和數據挖掘等技術，從而能夠將底層的實時監(jiān)控與高層的決策更好地集成在一起。展望其前景，無疑是十分美好的，但是我們認為相應的工作量很大，在技術上仍然需要有所提高和有所突破。

　　評注：能緊扣集成的主題，結合實際作了較有深度的論述。所討論的數據庫和數據倉庫技術符合企業(yè)信息化的方向。對遇到的問題的舉例剖析還不夠，實時控制方面的論述也可更細化一些說明。

《計算機系統(tǒng)分析員通信業(yè)應用報告書》

上一篇：實驗室網絡教學資源與人才培養(yǎng)創(chuàng)新計劃

下一篇：80C51的三種非常規(guī)的復位技術研究