基于知識(shí)發(fā)現(xiàn)技術(shù)的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)

倪志偉　蔡慶生

摘要　為了克服傳統(tǒng)專家系統(tǒng)的3大缺陷,在討論專家系統(tǒng)新技術(shù)的基礎(chǔ)上，探討如何在專家系統(tǒng)中融入知識(shí)發(fā)現(xiàn)的技術(shù)，提出一個(gè)新的系統(tǒng)框架，在其中使用的一些知識(shí)發(fā)現(xiàn)算法包括歷史數(shù)據(jù)庫中的數(shù)據(jù)挖掘及知識(shí)庫中的知識(shí)發(fā)現(xiàn).對(duì)此新的專家系統(tǒng)框架給予了實(shí)驗(yàn), 結(jié)果是:系統(tǒng)運(yùn)行后,既可以發(fā)現(xiàn)新知識(shí),又可以改進(jìn)原有規(guī)則.這樣大大提高了系統(tǒng)知識(shí)獲取的能力,而且也求精了知識(shí)庫.
關(guān)鍵詞　神經(jīng)網(wǎng)絡(luò)專家系統(tǒng);歷史數(shù)據(jù)庫;知識(shí)庫; 知識(shí)發(fā)現(xiàn)
中圖分類號(hào)　TP 414　文獻(xiàn)標(biāo)識(shí)碼：A
文章編號(hào)：0438-0479(2000)03-0288-05

Neural Network Expert System Based on KnowledgeDiscovery Techniques

Abstract： Based on some new techniques in expert system, the authors discuss how to merge knowledge discovery in neural network expert system and put forward a framework,in which some knowledge discovery algorithms are raised. Experiments show that system based on knowledge discovery can mine some new rules and improve some old rules .This method can not only heighten the ability of knowledge acquisition but also refine knowledge base .
Key words：neural network expert system; historical data base; knowledge base; knowledge discovery

　　40多年來,雖然專家系統(tǒng)（Expert System, 即ES）的理論和應(yīng)用取得了重大進(jìn)展，但由于其立足的符號(hào)信息處理機(jī)制的固有缺陷而導(dǎo)致傳統(tǒng)ES存在許多問題，主要有^［1，2］：知識(shí)獲取的瓶頸問題、知識(shí)脆弱性、推理單調(diào)性.多年來許多研究人員為此進(jìn)行了深入的研究，提出了許多新的理論與方法，主要集中在以下4個(gè)方面：
　　1)知識(shí)表示：采用非單調(diào)邏輯、面向?qū)ο蠓椒ā⒚嫦驅(qū)ο罂蚣芙Y(jié)構(gòu)、原型表示法、多方法混合表示、粗糙集、模糊粗糙集、模糊數(shù)學(xué)與傳統(tǒng)知識(shí)表示法的結(jié)合等表示法，還有一新課題就是對(duì)知識(shí)表示的形式化語義的研究；
　　2)知識(shí)獲?。喊胱詣?dòng)知識(shí)獲取、知識(shí)獲取工具、機(jī)器學(xué)習(xí)、機(jī)器感知、機(jī)器識(shí)別、機(jī)器發(fā)現(xiàn)等；
　　3)推理機(jī)制：非單調(diào)推理、基于案例的推理（CBR）、常識(shí)推理、定性推理、約束推理、不確定性推理等，其中不確定性推理包括Bayes方法、可信度理論、經(jīng)典概率方法、可能性理論、證據(jù)理論、信念網(wǎng)絡(luò)、模糊理論等；
　　4)ES體系結(jié)構(gòu)：深表層知識(shí)結(jié)構(gòu)、黑板結(jié)構(gòu)、分布式結(jié)構(gòu)、推理-數(shù)據(jù)管理雙層結(jié)構(gòu)、模糊專家系統(tǒng)、基于遺傳算法及模糊邏輯的專家系統(tǒng)、多Agent協(xié)作專家系統(tǒng)、多Agent 多黑板結(jié)構(gòu)、CBR與ES的結(jié)合、多專家合作的綜合型體系結(jié)構(gòu)等；另外還有一種新的體系結(jié)構(gòu)：聯(lián)接機(jī)制與ES的相互結(jié)合.
　　以非線性并行分布處理為主流的神經(jīng)網(wǎng)絡(luò)（Neural Network, 即NN）理論的發(fā)展，為人工智能和ES的研究開辟了嶄新的途徑.人們可以利用NN系統(tǒng)的學(xué)習(xí)功能、聯(lián)想記憶功能、分布式并行信息處理功能解決ES中的知識(shí)表示、獲取和并行推理等問題.當(dāng)然NN也有明顯的缺點(diǎn).例如，NN的推理過程是一個(gè)黑盒子，人們只能看到輸入和輸出，中間推理步驟是無法解釋的.另外，ES具有獨(dú)立的知識(shí)庫，知識(shí)維護(hù)十分方便；而NN的知識(shí)是以固定連結(jié)結(jié)構(gòu)存儲(chǔ)的，不易修改和補(bǔ)充.這些說明NN也需要與傳統(tǒng)的符號(hào)處理相結(jié)合，從而形成神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)（NNES）.NNES的優(yōu)點(diǎn)是：具有學(xué)習(xí)功能、大規(guī)模并行分布式處理、全局集體作用以實(shí)現(xiàn)知識(shí)獲取自動(dòng)化、可以實(shí)現(xiàn)并行聯(lián)想和自適應(yīng)推理，系統(tǒng)具有實(shí)時(shí)處理能力和較好的魯棒性、良好的啟發(fā)性、透明性和靈活性.和傳統(tǒng)的ES相比，在分類、診斷以及基基于分類的智能控 和優(yōu)化求解等方面，NNES可以取得更優(yōu)越的性能；另外，在遇到多個(gè)人類專家之間有不同意見的時(shí)候（甚至有矛盾的時(shí)候），傳統(tǒng)ES往往很難處理,但采用NNES來處理,困難就可以獲得比較滿意的解決.
　　NNES雖然具有許多優(yōu)點(diǎn)和長處，也存在一些固有的弱點(diǎn)：首先，NNES在目前還只適合于解決一些規(guī)模較小的問題；其次，NNES的性能在很大程度上受到所瘍的訓(xùn)練數(shù)據(jù)集的限制；第三，常識(shí)問題是目前限制智能系統(tǒng)功能的主要方面之一，常識(shí)知識(shí)的獲取是知識(shí)獲取的難點(diǎn)；最后，雖然NN具有快速獲取知識(shí)的優(yōu)點(diǎn)，但是，在NNES中知識(shí)的表示、處理顯得煩雜且混亂，有時(shí)是低效的.智能系統(tǒng)的發(fā)展趨勢(shì)告訴我們：應(yīng)該多信道獲取信息.通過多信道獲得信息或知識(shí)，將這些信息融合在一個(gè)大型人工智能系統(tǒng)中，使它們的信息得以綜合發(fā)揮作用，從而提高系統(tǒng)的求解能力.目前的NNES不可能具有很高的智能水平，但是針對(duì)以上的幾個(gè)方面和問題，在NNES中引入知識(shí)發(fā)現(xiàn)的概念之后可以緩解一些矛盾或部分地解決一些問題.知識(shí)發(fā)現(xiàn)的研究始于從數(shù)據(jù)庫中發(fā)現(xiàn)有用的模式這一概念，即KDD（Knowledge Discovery in Database）.KDD是指識(shí)別出存在于數(shù)據(jù)庫中有效的、新穎的、具有潛在效用的乃至最終可理解的模式的非平凡的過程.數(shù)據(jù)挖掘是KDD過程的主要階段,數(shù)據(jù)挖掘的對(duì)象通常是大型數(shù)據(jù)庫或者數(shù)據(jù)倉庫，從廣義的角度上講，發(fā)掘?qū)ο笠部梢允俏募到y(tǒng)，或者是其它數(shù)據(jù)集合，例如圖形圖象，WWW信息源，知識(shí)庫等.近幾年來，國內(nèi)外的知識(shí)發(fā)現(xiàn)的研究有許多成果，并已開始將理論研究的成果轉(zhuǎn)化為軟件產(chǎn)品，如DBMiner^［3］，Quest^［4］ ,但在目前國內(nèi)外尚無NNES中引入知識(shí)發(fā)現(xiàn)方面的成果.

1　NNES中的數(shù)據(jù)挖掘技術(shù)

　　本節(jié)介紹兩種神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的構(gòu)造形式，并給出各自系統(tǒng)中知識(shí)庫上的知識(shí)發(fā)現(xiàn)技術(shù)（Knowledge Discovery in Knowledge Base,即KDK）. 第一種是神經(jīng)網(wǎng)絡(luò)本身作為一個(gè)專家系統(tǒng)，我們稱之為簡(jiǎn)單型NNES.一般采用多層神經(jīng)元構(gòu)成的網(wǎng)絡(luò).那些沒有信號(hào)輸入、只有信號(hào)輸出的神經(jīng)元被看作是輸入數(shù)據(jù)單元，那些有信號(hào)輸入、沒有信號(hào)輸出的神經(jīng)元看作為結(jié)論性單元；專家系統(tǒng)運(yùn)行時(shí)，根據(jù)當(dāng)時(shí)各種證據(jù)存在與否決定有關(guān)的輸入單元是否被激活，那些被激活的單元向前發(fā)送信號(hào)，信號(hào)在網(wǎng)絡(luò)中一層層向前傳遞.最后以那些結(jié)論性單元被激活來決定專家系統(tǒng)的運(yùn)行結(jié)果.可以作為專家系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型有BP、IAC等模型.比起傳統(tǒng)的ES，這種類型的NNES的主要優(yōu)點(diǎn)是不必有成熟的、確定的專家經(jīng)驗(yàn)，主要缺點(diǎn)是知識(shí)庫維護(hù)麻煩、訓(xùn)練時(shí)間過長.
　　我們提出一個(gè)在這種專家系統(tǒng)中的規(guī)則挖掘算法(算法1)，神經(jīng)網(wǎng)絡(luò)模型采用IAC模型^［5］.
　　算法1
　　1)給處理單元（用名稱B表示）以正輸入刺激；
　　2)運(yùn)行IAC模型，搜索出被激活的單元，以名稱A表示，得到規(guī)則AB；
　　3)由單元激活值,計(jì)算出AB的可信度;
　　4)根據(jù)給定的最小可信度，判斷出規(guī)則AB的有效性，如有效則輸出該規(guī)則.
　　其中知識(shí)庫用IAC網(wǎng)絡(luò)表示.在網(wǎng)絡(luò)中，將處理單元分成許多競(jìng)爭(zhēng)集團(tuán).在同一集團(tuán)內(nèi)，處理單元之間存在著抑制性聯(lián)系，兩集團(tuán)之間存在著興奮性聯(lián)系.即在同一集團(tuán)中，處理單元之間具有一種相互競(jìng)爭(zhēng)、相互抑制的機(jī)制，本集團(tuán)中得到最強(qiáng)激活值的那些單元驅(qū)使其它單元的激活值的降低，而在兩集團(tuán)間，處理單元之間的興奮性聯(lián)系是雙向方式的，即互相激勵(lì).IAC網(wǎng)絡(luò)及模型有許多特征適合于知識(shí)發(fā)現(xiàn)的應(yīng)用，如聯(lián)想記憶及恢復(fù)能力、強(qiáng)泛化能力等.
　　第二種是神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)ES的相互結(jié)合，我們稱之為結(jié)合型NNES.其結(jié)合方式一般采用主輔方式^［6］，目前真正相互融合的系統(tǒng)難以建立.由此，我們?cè)O(shè)想一個(gè)基于神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)挖掘的專家系統(tǒng)，即：在NNES中允許符號(hào)機(jī)制與聯(lián)接機(jī)制并存，輔以數(shù)據(jù)庫技術(shù)和知識(shí)發(fā)現(xiàn)技術(shù)，統(tǒng)一在一個(gè)系統(tǒng)之中，充分發(fā)揮各自的優(yōu)點(diǎn).其主要思想是在歷史數(shù)據(jù)庫與知識(shí)庫之間增加一個(gè)數(shù)據(jù)挖掘模塊.下面介紹相關(guān)的3個(gè)部分：
　　1）知識(shí)庫：它存放由人工知識(shí)獲取方法得到的知識(shí)、從NN中因?qū)W習(xí)而輸出并提取的知識(shí)、由知識(shí)發(fā)現(xiàn)子系統(tǒng)所得到的知識(shí)（包括從歷史數(shù)據(jù)庫和知識(shí)庫中挖掘出的知識(shí)）.知識(shí)表示采用產(chǎn)生式規(guī)則形式.
　　2) 數(shù)據(jù)庫：綜合數(shù)據(jù)庫用來存放系統(tǒng)運(yùn)行過程中所需要和產(chǎn)生的信息，包括問題的描述、中間結(jié)果、解決過程的記錄等信息；歷史數(shù)據(jù)庫中包含以時(shí)間為序的數(shù)據(jù)集,在其上可以進(jìn)行KDD操作.
　　3) 知識(shí)發(fā)現(xiàn)子系統(tǒng)：一般地，知識(shí)發(fā)現(xiàn)是基于數(shù)據(jù)庫下的知識(shí)挖掘，它通常在決策支持系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)中采用.在結(jié)合型NNES中的數(shù)據(jù)挖掘包括兩部分：一是在歷史數(shù)據(jù)庫中進(jìn)行的數(shù)據(jù)挖掘，二是在ES的知識(shí)庫中應(yīng)用數(shù)據(jù)挖掘算法來發(fā)現(xiàn)新的知識(shí)并存入知識(shí)庫中.
　　在結(jié)合型NNES中，我們所設(shè)計(jì)的KDK技術(shù)是基于諸多計(jì)算智能方法，從而達(dá)到在知識(shí)庫中發(fā)現(xiàn)知識(shí).以下是我們提出的知識(shí)發(fā)現(xiàn)算法.
　　算法2
　　1) 從知識(shí)庫中的規(guī)則到神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換算法：從知識(shí)庫中的符號(hào)規(guī)則構(gòu)造初始的神經(jīng)網(wǎng)絡(luò)，包含的步驟有：規(guī)則重寫，使每個(gè)析取式都表示為一組僅有一個(gè)前提的規(guī)則；再用上述規(guī)則與網(wǎng)絡(luò)的映射關(guān)系，將包含邏輯關(guān)系（AND、OR、NOT）的規(guī)則轉(zhuǎn)化到一個(gè)與規(guī)則集元素相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)；在網(wǎng)絡(luò)中需要的地方增加新節(jié)點(diǎn)使得網(wǎng)絡(luò)保持完整的層次；最后通過增加權(quán)值為零的連接，得到上下層中的結(jié)點(diǎn)均存在連接的全互聯(lián)多層神經(jīng)網(wǎng)絡(luò).在實(shí)際使用中，常常需要對(duì)網(wǎng)絡(luò)的規(guī)模進(jìn)行壓縮.
　　2) 用BP學(xué)習(xí)算法來訓(xùn)練初始的NN，使網(wǎng)絡(luò)中的規(guī)則得到修正，與訓(xùn)練實(shí)例相容.
　　3) 用遺傳算法對(duì)NN剪枝，去掉多余的連接或多余的節(jié)點(diǎn).先對(duì)節(jié)點(diǎn)按順序編碼，輸入節(jié)點(diǎn)在前，隱節(jié)點(diǎn)居中，輸出節(jié)點(diǎn)在后；再對(duì)節(jié)點(diǎn)之間的連接按順序編碼.從而每個(gè)NN對(duì)應(yīng)兩個(gè)編碼串，且采用二進(jìn)制編碼.如果該節(jié)點(diǎn)或連接在網(wǎng)絡(luò)中存在，則對(duì)應(yīng)的編碼為1，反之為0.若節(jié)點(diǎn)不存在，則與其相連的所有連接的代碼均為0.優(yōu)化的目標(biāo)是在保證正確性的前提下，去掉盡可能多的節(jié)點(diǎn)和它們之間的連接.剪枝完成之后，再對(duì)優(yōu)化后的NN用BP算法來進(jìn)行訓(xùn)練，完成這一步后，此時(shí)的SNN就可以用作一個(gè)很精確的分類器.
　　4）從訓(xùn)練好的NN中抽取出被發(fā)現(xiàn)的知識(shí)，即符號(hào)規(guī)則的抽取^{［7 ～11］}.這是較為關(guān)鍵的一步，即如何理解NN所學(xué)到的知識(shí).目前有兩種主要的規(guī)則抽取方法：基于搜索的方法和基于學(xué)習(xí)的方法.前者主要集中于對(duì)NN單個(gè)節(jié)點(diǎn)所表示的概念的解釋，從每個(gè)節(jié)點(diǎn)中抽取的規(guī)則是由與此節(jié)點(diǎn)相連的輸入節(jié)點(diǎn)來表達(dá)的，每個(gè)節(jié)點(diǎn)只表示唯一的概念.基于學(xué)習(xí)的方法則將抽取規(guī)則的過程看作是一個(gè)學(xué)習(xí)過程，其目標(biāo)概念就是網(wǎng)絡(luò)計(jì)算的輸出，其輸入就是網(wǎng)絡(luò)的輸入特征，此方法的目的在于抽取反映輸入輸出之間映射關(guān)系的規(guī)則.此方法的優(yōu)點(diǎn)在于抽取規(guī)則的可信度高，同時(shí)不考慮網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)，因而應(yīng)用范圍廣泛.我們采用的是基于學(xué)習(xí)的方法.
　　由以上所設(shè)計(jì)的框架，我們正在實(shí)現(xiàn)一個(gè)實(shí)驗(yàn)系統(tǒng)：農(nóng)業(yè)氣象災(zāi)害測(cè)評(píng)專家系統(tǒng).推理子系統(tǒng)中采用面向目標(biāo)的控制策略，解釋子系統(tǒng)采用了基于蹤跡的方法，綜合數(shù)據(jù)庫與普通ES中的相關(guān)部分相同.知識(shí)庫中的知識(shí)采用產(chǎn)生式規(guī)則.知識(shí)獲取采用人工知識(shí)獲取規(guī)則和神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)方法來獲得，并統(tǒng)一成產(chǎn)生式規(guī)則放入知識(shí)庫中.知識(shí)發(fā)現(xiàn)子系統(tǒng)采用了前面介紹的知識(shí)發(fā)現(xiàn)方法（KDK技術(shù)）以及KDD算法.雖然整個(gè)系統(tǒng)有待聯(lián)調(diào)，但知識(shí)庫中進(jìn)行數(shù)據(jù)挖掘的算法已然可以進(jìn)行實(shí)驗(yàn).我們實(shí)現(xiàn)了算法1、算法2，根據(jù)用戶給定的參數(shù)，能挖掘出一些規(guī)則，同時(shí)可以改進(jìn)知識(shí)庫中的原有規(guī)則.當(dāng)然，在知識(shí)庫中運(yùn)用幾種知識(shí)獲取方法之后，需要我們進(jìn)一步解決的是知識(shí)一致性等問題.

2　結(jié)　論

　　本文首先討論了NN與ES結(jié)合的必要性與可能性，并指出了NNES的優(yōu)缺點(diǎn)；針對(duì)這些缺點(diǎn)，本文提出了基于KDK、KDD技術(shù)的NNES框架，它可以部分解決和緩解這些矛盾，本文著重討論了兩種模式：簡(jiǎn)單型NNES下的數(shù)據(jù)挖掘及結(jié)合型NNES下的知識(shí)發(fā)現(xiàn).這一研究對(duì)智能系統(tǒng)的綜合集成有著重要的參考價(jià)值.

基金項(xiàng)目：63高技術(shù)資助項(xiàng)目
作者簡(jiǎn)介：倪志偉(1963－),男，在職博士生，副教授.

倪志偉（中國科技大學(xué)計(jì)算機(jī)系，安徽 合肥　230027　安徽大學(xué)計(jì)算機(jī)系，安徽 合肥　230039）
蔡慶生（中國科技大學(xué)計(jì)算機(jī)系，安徽 合肥　230027）

參考文獻(xiàn)：
［1］　戴汝為.智能系統(tǒng)的綜合集成［M］.杭州：浙江科學(xué)技術(shù)出版社，1995.
［2］　程慧霞,李龍澍,倪志偉.用C++建造專家系統(tǒng)［M］.北京：電子工業(yè)出版社，1996.
［3］　Jiawei Han. A system for Mining Knowledge in Large Relational Databases［A］. DBMiner Proc.1996 Int. Conf. on Data Mining and Knowledge Discovery (KDD′96)［C］. Portland: Oregon, 1996.
［4］　Rakesh Agrawal. The Quest Data Mining System［M］.USA: IBM Almaden Research Center,1996.
［5］　Rumelhart D　E, McClelland J L. Parallel Distributed Processing ［M］.Vol. 1,2,USA： MIT Press,1986.
［6］　Gallant S I. Connectionist Expert System［J］.Comm.ACM, 1998，31(2)：220～225
［7］　Fu L. Rule generation from neural networks［J］. IEEE Trans on Systems, Man, Cybernetics, 1994, 24(8):　1　114—1　124.
［8］　Yoon B, Lacher R C. Extracting rules by destructive learning［A］. Proc IEEE ICNN’94［C］, New York:IEEE Press, 1994,1　766—1　771.
［9］　Huang S H,Endsley M R. Providing undestarding of behavior of feed forward neural network［J］. IEEE Trans on Systems, Man, Cybernetics. 1997,27(3):127-131.
［10］　Maniezzo V. Genetic evolution of the topology and weight distribution of neural networks［J］. IEEE Trans on Neural Networks, 1994,5(1):39-53.
［11］　Towell G, Shavlik J. Extracting Refined rules from knowledge-based neural networks［J］. Machine Learning, 1993，13：116～130