項目背景:測試

目前，省內(nèi)各地政府部門和機(jī)構(gòu)均建立起自己的信息化系統(tǒng)。但由于諸多因素的影響，即使同一地區(qū)的政府機(jī)構(gòu)間也無法進(jìn)行合理、有效的溝通。不同信息系統(tǒng)產(chǎn)生的數(shù)據(jù)形式不同，數(shù)據(jù)可能是存放于數(shù)據(jù)庫、FTP服務(wù)器上的某些文本文件等等。

因此需要一個平臺能使所有需要利用的但質(zhì)量太差以及缺乏關(guān)聯(lián)機(jī)制的數(shù)據(jù)結(jié)合為一個整體，擔(dān)當(dāng)信息橋梁。在客戶接入端實(shí)現(xiàn)數(shù)據(jù)的自動提取與轉(zhuǎn)換，同時支持手工錄入與審核數(shù)據(jù)，數(shù)據(jù)使用權(quán)限等。它應(yīng)該是一個為不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間，進(jìn)行數(shù)據(jù)交換而提供服務(wù)的平臺，能解決企業(yè)、政府機(jī)構(gòu)在不同信息庫間信息數(shù)據(jù)無法自由轉(zhuǎn)換的問題。

同和第三方數(shù)據(jù)交換平臺是一個專注于數(shù)據(jù)處理的技術(shù)平臺，它能通過自動+人工干預(yù)的方式實(shí)現(xiàn)異域數(shù)據(jù)的加工和關(guān)聯(lián)，提供了豐富的數(shù)據(jù)導(dǎo)入、處理和應(yīng)用方式，充分考慮多種應(yīng)用場合，實(shí)現(xiàn)方便的定制功能，使得操作人員在數(shù)據(jù)處理層面上有多種多樣的方式選擇，可以根據(jù)不同數(shù)據(jù)來源和去向定制各異的數(shù)據(jù)導(dǎo)入、加工匹配與應(yīng)用規(guī)則。最終得到用戶要求的優(yōu)質(zhì)數(shù)據(jù)。下圖為上述文字的解釋。

功能綜述

    1.數(shù)據(jù)采集

    通過任務(wù)定制的方式把原始數(shù)據(jù)導(dǎo)入此交換平臺。數(shù)據(jù)導(dǎo)入的方式主要支持：數(shù)據(jù)庫直連、FTP服務(wù)器獲取文件，人工文件上傳，人工數(shù)據(jù)錄入。其中數(shù)據(jù)庫直連可以支持ORACLE、MySQL、DB2等主流數(shù)據(jù)庫；數(shù)據(jù)文件可以支持excel、csv、txt等。根據(jù)用戶配置的頻率，轉(zhuǎn)換規(guī)則，把數(shù)據(jù)遷移到此交換平臺，由平臺自身數(shù)ORACLE數(shù)據(jù)庫統(tǒng)一管理。此功能塊主要實(shí)現(xiàn)了各種數(shù)據(jù)形式的統(tǒng)一轉(zhuǎn)換，并且遷移到本交換平臺。我們把此環(huán)節(jié)獲得的數(shù)據(jù)叫做原始數(shù)據(jù)。

    2.數(shù)據(jù)加工

    用戶可以針對已經(jīng)導(dǎo)入平臺的原始數(shù)據(jù)進(jìn)行加工、與其他現(xiàn)有數(shù)據(jù)進(jìn)行關(guān)聯(lián)匹配。平臺提供了多種規(guī)則讓用戶可以靈活定制出想要的最終數(shù)據(jù)。在自動加工未達(dá)到預(yù)期效果時可以進(jìn)行人工干預(yù)，而且平臺會記錄和學(xué)習(xí)此次人工干預(yù)動作，在今后的自動加工中人性化處理。同時平臺也提供了強(qiáng)大的模糊匹配功能，類似搜索引擎的模糊搜索。對無法確定是否精確匹配的數(shù)據(jù)建立模糊關(guān)系，讓用戶人為判斷。

    3.數(shù)據(jù)應(yīng)用

    我們對數(shù)據(jù)進(jìn)行加工的目的也就是對成品數(shù)據(jù)進(jìn)行利用。本功能模塊為加工好的最終數(shù)據(jù)提供了各種應(yīng)用渠道。包括了直接界面查詢、excel數(shù)據(jù)導(dǎo)出、數(shù)據(jù)庫外部推送、web服務(wù)接口暴露、RPC遠(yuǎn)程調(diào)用接口暴露等等。

    4.數(shù)據(jù)監(jiān)控

    此功能模塊對數(shù)據(jù)的生命周期有一個完全的監(jiān)控作用。數(shù)據(jù)導(dǎo)入、加工任務(wù)進(jìn)行的進(jìn)度、詳細(xì)執(zhí)行情況在這里一目了然。

    5.綜合查詢

    此平臺可以根據(jù)不同需求分布式多節(jié)點(diǎn)靈活部署，此功能模塊相當(dāng)一部分功能用于查看子節(jié)點(diǎn)連接情況以及數(shù)據(jù)加工處理情況。

    同時也提供了對平臺使用人員的管理查詢功能，如查詢有哪些逾期未采集的數(shù)據(jù)單元。

    6.系統(tǒng)管理

    此模塊主要提供了系統(tǒng)管理級別的功能，比如使用人員管理、崗位權(quán)限管理、菜單管理、平臺系統(tǒng)初始化配置、服務(wù)器性能監(jiān)控等。

技術(shù)體系

系統(tǒng)架構(gòu)示意圖：

典型應(yīng)用

    2012年同和第三方數(shù)據(jù)交換平臺在常州、徐州、揚(yáng)州地稅局試點(diǎn)應(yīng)用，取得了滿意的效果。目前已在江蘇全省推廣使用。