導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

Columbia, Canada

Machine Learning Methods

in the Environmental

Sciences

2009, 349pp.

Hardcover

ISBN: 9780521791922

William W. Hsieh著

機器學(xué)習(xí)是計算機智能(也叫人工智能)的一個主要的子領(lǐng)域。它的主要目標(biāo)就是利用計算的方法從數(shù)據(jù)中提取信息。神經(jīng)網(wǎng)絡(luò)方法,一般被認為是機器學(xué)習(xí)研究中的第一次突破,它自上世紀80年代以來開始流行,而核方法是在上世紀90年代后半期作為機器學(xué)習(xí)研究的第二波而到來的。本書對于機器學(xué)習(xí)方法和它在環(huán)境科學(xué)中的應(yīng)用給出了統(tǒng)一的處理。

機器學(xué)習(xí)方法進入環(huán)境科學(xué)是在上世紀90年代。已經(jīng)大量地應(yīng)用于衛(wèi)星數(shù)據(jù)的處理、大氣環(huán)流模型、天氣和氣象預(yù)報、空氣質(zhì)量預(yù)報、環(huán)境數(shù)據(jù)的分析和建模、海洋和水文預(yù)報、生態(tài)建模、以及雪災(zāi)冰川和森林監(jiān)測等領(lǐng)域。

書中第1-3章主要是為學(xué)生們而寫的背景性資料,包括在環(huán)境科學(xué)中應(yīng)用的標(biāo)準(zhǔn)統(tǒng)計方法。1.主要介紹了概率分布的基本意義、隨機變量的平均值與方差、分析兩變量關(guān)系的相關(guān)與回歸分析方法等基本統(tǒng)計概念;2.回顧了主成份分析的方法和它的一些變化,以及經(jīng)典相關(guān)分析方法;3.引入了基于時間序列數(shù)據(jù)的分析方法,如奇異譜分析(SSA)、主振蕩型分析(POP)等。

第4-12章為那些標(biāo)準(zhǔn)的線性統(tǒng)計方法提供了有力的非線性轉(zhuǎn)化。4.關(guān)于前饋神經(jīng)網(wǎng)絡(luò)模型及其最普遍的代表――多層感知哭模型(MLP模型),介紹了MLP模型的一些歷史發(fā)展知識;5.為MLP神經(jīng)網(wǎng)絡(luò)模型所需要的非線性優(yōu)化的內(nèi)容;6.探索了幾種能夠使神經(jīng)網(wǎng)絡(luò)模型正確的學(xué)習(xí)并泛化的方法;7.是關(guān)于核方法內(nèi)容。主要討論了核方法的數(shù)據(jù)基礎(chǔ)、主要思想以及它的一些缺點,并介紹了從神經(jīng)網(wǎng)絡(luò)到核方法的過渡;8.介紹了處理離散型數(shù)據(jù)的方法――非線性分類;9.介紹了兩種核方法(支撐微量回歸、SVR 和高斯過程、GP)和一種樹方法(分類和回歸樹方法CART);10.關(guān)于非線性主成份分析的方法及相關(guān)的一些研究方法;11.系統(tǒng)地闡述了MLP和非線性經(jīng)典相關(guān)分析(NLCCA)方法,并以熱帶太平洋氣候變異性數(shù)據(jù)及它同中緯度氣候變異的相關(guān)性為例加以說明;12.給出了大量機器學(xué)習(xí)方法在環(huán)境科學(xué)眾多研究領(lǐng)域中的應(yīng)用實例如遙感、海洋學(xué)、大氣科學(xué)、水文學(xué)及生態(tài)學(xué)等。

作者William W. Hsieh是英屬哥倫比亞大學(xué)地球與海洋科學(xué)系及物理與天文學(xué)系的教授,主持大氣科學(xué)項目。作者在環(huán)境科學(xué)中發(fā)展和應(yīng)用機器學(xué)習(xí)方法中所做的先驅(qū)性工作在國際上享有很高的知名度。已在天氣變化、機器學(xué)習(xí)、海洋學(xué)、大氣科學(xué)和水文學(xué)等領(lǐng)域80多篇。

本書主要適用于研究生初期階段或者高年級的本科生,而且對于那些致力于在各自的研究領(lǐng)域應(yīng)用這些新方法的研究者和參與者們也是十分有價值的。

朱立峰,

博士后

(中國科學(xué)院動物學(xué)研究所)

篇2

關(guān)鍵詞：物聯(lián)網(wǎng)；LS-SVM；數(shù)據(jù)模型

中圖分類號：TP393

文獻標(biāo)識碼：A

文章編號：1009-3044（2017）10-0145-02

1.引言

前神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork），簡稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。

2.概念相關(guān)概述

2.1前饋人工神經(jīng)網(wǎng)絡(luò)現(xiàn)實基礎(chǔ)模型

首先，生物神經(jīng)元模型。人的大腦中有眾多神經(jīng)元，而神經(jīng)元之間需要神經(jīng)突觸連接，進而構(gòu)成了復(fù)雜有序的神經(jīng)網(wǎng)絡(luò)。而神經(jīng)元主要由樹突、軸突和細胞體組成。一個神經(jīng)元有一個細胞體和軸突，但是卻有很多樹突。樹突是神經(jīng)元的輸入端，用于接受信息，并向細胞體財團對信息。而細胞體是神經(jīng)元的信息處理中心，能夠?qū)π盘栠M行處理。軸突相當(dāng)于信息輸出端口，負責(zé)向下一個神經(jīng)元傳遞信息；其次，人工神經(jīng)元。人工神經(jīng)元的信息處理能力十分有限，但是，由眾多人工神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)龐大，具有巨大的潛力，能夠解決復(fù)雜問題。人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)具有相似之處，人工神經(jīng)網(wǎng)絡(luò)能夠從環(huán)境中獲取知識，并存儲信息。前饋人工神經(jīng)網(wǎng)絡(luò)主要包括隱含層、輸入層和輸出層。在前饋人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元將信號進行非線性轉(zhuǎn)換之后，將信號傳遞給下一層，信息傳播是單向的。并且，前饋人工神經(jīng)網(wǎng)絡(luò)是人們應(yīng)用最多的網(wǎng)絡(luò)模型，常見的有BP神經(jīng)網(wǎng)絡(luò)、單層感知器、RBF神經(jīng)網(wǎng)絡(luò)等模型。

2.2 LS-SVM相關(guān)概述

支撐向量機是一種基于統(tǒng)計學(xué)習(xí)理論的機器學(xué)習(xí)方法，能夠根據(jù)樣本信息進行非現(xiàn)象映射，解回歸問題的高度非現(xiàn)象問題。并且，支撐向量機在解決非線性、局部極小點方問題上有很大的優(yōu)勢。LS-SVM也叫最小二乘支撐向量機，是支撐向量機的一種，遵循支撐向量機算法的結(jié)構(gòu)風(fēng)險最小化的原則，能夠?qū)⒅蜗蛄繖C算法中的不等式約束改為等式約束，進而將二次問題轉(zhuǎn)換為線性方程問題，大大降低了計算的復(fù)雜性。并且，LS-SVM在運算速度上遠遠高于支持向量機。但是，LS-SVM也存在一定的缺點，在計算的過程中，LS-SVM的忽視了全局最優(yōu)，只能實現(xiàn)局部最優(yōu)。并且，LS-SVM在處理噪聲污染嚴重的樣本時，會將所有的干擾信息都擬合到模型系統(tǒng)中，導(dǎo)致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進。

2.3物聯(lián)網(wǎng)下人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM研究的意義

物聯(lián)網(wǎng)是互聯(lián)網(wǎng)技術(shù)的發(fā)展趨勢，為前饋人工神經(jīng)網(wǎng)絡(luò)的發(fā)展與LS-SVM研究提供了技術(shù)保障，在物聯(lián)網(wǎng)背景下，研究人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM不僅能夠創(chuàng)新人工神經(jīng)網(wǎng)絡(luò)的計算方法，完善人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)實生活中的應(yīng)用，而且對人們生活的自動化和智能化發(fā)展有著重要意義。另外，物聯(lián)網(wǎng)為人們對LS-SVM的研究提供了條件，在物聯(lián)網(wǎng)環(huán)境下，人們能夠運用信息技術(shù)深化最小二乘支撐向量機研究，不斷提高LS-SVM回歸模型的魯棒性，改進LS-SVM的特征提取方法和在線建模算法，完善計算機學(xué)習(xí)方法，提升計算機的運算速度。3基于LS―SVM的丟包數(shù)據(jù)模型

在選擇的參數(shù)的基礎(chǔ)上，運用IS-SVM方法，建立評估模型。本文選用LS-SVM回歸方法的原因，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法主要是以下幾點：

首先，了解數(shù)據(jù)挖掘，數(shù)據(jù)挖掘前景廣闊，SVM是數(shù)據(jù)挖掘中的新方法。其次，選擇合適的數(shù)據(jù)分析方法根據(jù)數(shù)據(jù)集的大小和特征。小樣本訓(xùn)練適合SVM，樣本大情況的訓(xùn)練適宜神經(jīng)網(wǎng)絡(luò)，這里用SVM。

然后，就是文獻使用SVM和PCA建立跨層的評估QOE，實驗結(jié)果表明主觀MOS評分和此評價結(jié)果具有很好的一致性。

最后，本文采用SVM基礎(chǔ)上的進一步拔高，LS-SVM，比SVM運行快，精確度高。srcl3_hrcl_525.yuv實驗素材的特征是具有高清性質(zhì)。525序列60HZ，幀大小為1440x486字節(jié)/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時域復(fù)雜度的模型如下，視頻的時域復(fù)雜度σ；編碼量化參數(shù)是Q；編碼速率為R；待定模型的參數(shù)為a和b。σ=Q（aR+b）。通過大量的實驗和理論分析，得到模型的參數(shù)：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數(shù)是根據(jù)實驗的具體情況確定的。計算σ的值如下所示：當(dāng)量化參數(shù)為31時，σ=19998720.1，當(dāng)量化參數(shù)為10時，σ=6451200.03，當(dāng)量化參數(shù)為5時，σ=3225600.02，當(dāng)量化參數(shù)為62時，σ=39997440.2，當(dāng)量化參數(shù)為100時，σ=64512000.3，當(dāng)量化參數(shù)為200時，σ=129024001，當(dāng)量化參數(shù)為255時，σ=164505601。

對于srcl3網(wǎng)絡(luò)環(huán)境建立考慮網(wǎng)絡(luò)丟包的視頻質(zhì)量無參評估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數(shù)，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時域復(fù)雜度。等權(quán)的參數(shù)。

LS-SVM要求調(diào)用的參數(shù)只有兩個gam和sig2并且他們是LS-SVM的參數(shù)，其中決定適應(yīng)誤差的最小化和平滑程度的正則化參數(shù)是gam，RBF函數(shù)的參數(shù)是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數(shù)回歸的。

4.機器學(xué)習(xí)和物聯(lián)網(wǎng)的結(jié)合

物聯(lián)網(wǎng)中也用到人工智能，人工智能中有機器學(xué)習(xí)，機器學(xué)習(xí)中有神經(jīng)網(wǎng)絡(luò)。機器學(xué)習(xí)是人工智能研究的核心問題之一，也是當(dāng)前人工智能研究的一個熱門方向。

篇3

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 計算機安全 入侵檢測

中圖分類號：TP393.08 文獻標(biāo)識碼：A 文章編號：1674-098X（2012）12（c）-00-01

自從1960年Widrow等提出自適應(yīng)線形神經(jīng)元用于信號處理中的自適應(yīng)濾波、預(yù)測和模型識別以來，神經(jīng)網(wǎng)絡(luò)技術(shù)便被用來解決現(xiàn)實生活中的問題。而在McCulloch等基于模仿人腦結(jié)構(gòu)和功能建立起一種人工智能的信息處理系統(tǒng)后，人工神經(jīng)網(wǎng)絡(luò)在土木工程、農(nóng)業(yè)、經(jīng)濟管理及企業(yè)管理等不同領(lǐng)域中被廣泛應(yīng)用[1-2]。該文介紹了神經(jīng)網(wǎng)絡(luò)的概念及特點，并分析神經(jīng)網(wǎng)絡(luò)在計算機安全尤其是在網(wǎng)絡(luò)入侵檢測中的應(yīng)用。

1 神經(jīng)網(wǎng)絡(luò)的概念及特點

1.1 神經(jīng)網(wǎng)絡(luò)的概念

神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，是由神經(jīng)元及稱為聯(lián)接的無向訊號通道互連而成。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）指的則是模仿生理神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能而設(shè)計的一種信息處理系統(tǒng)，即由多個非常簡單的處理單元彼此按某種方式相互連接而形成的信息處理網(wǎng)絡(luò)[3]。

1.2 神經(jīng)網(wǎng)絡(luò)的特點

在人工神經(jīng)網(wǎng)絡(luò)中，由于網(wǎng)絡(luò)中的每一個單元都是獨立的信息處理單元，因此其計算可獨立進行，而整個網(wǎng)絡(luò)系統(tǒng)卻是并行計算的。這不同于傳統(tǒng)的計算機的串行運算。由于神經(jīng)網(wǎng)絡(luò)是一個大規(guī)?；ヂ?lián)的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，因而是大規(guī)模的并行處理，這在一定程度上提高了系統(tǒng)的處理速度，同時也為實時處理提供了重要條件。人工神經(jīng)網(wǎng)絡(luò)與人腦類似，具有學(xué)習(xí)的功能。通常只要給出所需的數(shù)據(jù)、實例，由網(wǎng)絡(luò)去學(xué)習(xí)，而學(xué)習(xí)獲得的知識都分布儲存在整個網(wǎng)絡(luò)的用權(quán)系數(shù)表示的連接線上。不同網(wǎng)絡(luò)因?qū)W習(xí)方法及內(nèi)容不同，可得到不同的功能和不同的應(yīng)用。因而有可能解決傳統(tǒng)人工智能目前最感困難的機器學(xué)習(xí)中知識獲取、知識表示等問題。此外神經(jīng)網(wǎng)絡(luò)還對于輸入數(shù)據(jù)的失真具有相當(dāng)?shù)膹椥浴?/p>

1.3 常用的神經(jīng)網(wǎng)絡(luò)算法

常用的神經(jīng)網(wǎng)絡(luò)算法包括ARTMAP模型、ART模型、概率模型PNN、模糊模型ART、模糊多層感知器、Kohonen特征映射網(wǎng)絡(luò)、反饋多層感知器模型等[4-5]。其中，ART模型和Kohonen特征映射網(wǎng)絡(luò)、模糊模型ART屬于無監(jiān)督訓(xùn)練算法，而反饋多層感知器模型是受限反饋，ARTMAP模型、ART模型屬于反饋的網(wǎng)絡(luò)拓撲

結(jié)構(gòu)。

2 神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用

2.1 神經(jīng)網(wǎng)絡(luò)應(yīng)用于網(wǎng)絡(luò)入侵檢測的優(yōu)勢

由于神經(jīng)網(wǎng)絡(luò)對于數(shù)據(jù)訓(xùn)練獲得預(yù)測能力的過程是通過完全抽象計算實現(xiàn)的，而不強調(diào)對于數(shù)據(jù)分布的假設(shè)前提，因此在建立神經(jīng)網(wǎng)絡(luò)模型過程中沒有必要向神經(jīng)網(wǎng)絡(luò)解釋知識的具體細節(jié)。同時，神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測中，可以通過數(shù)據(jù)運算而形成異常的判別值，這樣可以對于當(dāng)前是否受到攻擊行為影響做出判斷，從而實現(xiàn)對檢測對象是否存在異常情況的檢測[6-8]。

2.2 神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用

神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全尤其是入侵檢測方面已有了相當(dāng)?shù)难芯縖9]。有研究者將組織聚類神經(jīng)網(wǎng)絡(luò)應(yīng)用于計算機安全研究中，其采用了自適應(yīng)諧振學(xué)習(xí)法進行數(shù)據(jù)的前期訓(xùn)練，對于無顯著意義的平均誤差減少時，采用遺傳算法繼續(xù)在前期基礎(chǔ)上進行數(shù)據(jù)數(shù)據(jù)以得到最佳的權(quán)值。國內(nèi)也在神經(jīng)網(wǎng)絡(luò)應(yīng)用于網(wǎng)絡(luò)入侵檢測上做了大量工作。王勇等研究者在參考MIT Lincoln有關(guān)網(wǎng)絡(luò)入侵檢測方法基礎(chǔ)上，提出了基于Linux主機的網(wǎng)絡(luò)入侵檢測方案，實現(xiàn)了對于多種網(wǎng)絡(luò)攻擊的特征進行抽取及檢測的目的[10]。

神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測中有廣泛的應(yīng)用空間[11-12]，今后應(yīng)該擴大訓(xùn)練數(shù)據(jù)的數(shù)量和范圍，并擴大操作系統(tǒng)的研究空間，通過模擬真實的計算機網(wǎng)絡(luò)環(huán)境，將神經(jīng)網(wǎng)絡(luò)技術(shù)真正應(yīng)用于計算機安全尤其是入侵檢測工作中。

參考文獻

[1] 李季，蒲彪.人工神經(jīng)網(wǎng)絡(luò)在食品微生物發(fā)酵中的應(yīng)用[J].食品研究與開發(fā)，2009，30（4）：171-174.

[2] 李聰超，周鐵軍.人工神經(jīng)網(wǎng)絡(luò)在農(nóng)業(yè)中的應(yīng)用[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2008（1）：35-38.

[3] 李麗霞，張敏，郜艷暉，等.人工神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)研究中的應(yīng)用[J].數(shù)理醫(yī)藥學(xué)雜志，2009，22（1）：80-82.

[4] 高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例[M].北京：機械工業(yè)出版社，2003：44-73.

[5] 楊行峻，鄭君里.人工神經(jīng)網(wǎng)絡(luò)與盲信號處理[M].北京：清華大學(xué)出版社，2003：23-105.

[6] 程麗麗.基于模糊神經(jīng)網(wǎng)絡(luò)的入侵檢測設(shè)計模型[D].哈爾濱：哈爾濱理工大學(xué)，2005.

[7] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計[M].北京：清華大學(xué)出版社，2005.

[8] 李家春，李之堂.神經(jīng)模糊入侵檢測系統(tǒng)的研究[J].計算機工程與應(yīng)用，2001，23（17）：37-39，

[9] 王勇，楊輝華.一種基于進化神經(jīng)網(wǎng)絡(luò)的入侵檢測實驗系統(tǒng)[J].華東理工大學(xué)學(xué)報（自然科學(xué)版），2005（6）：362-366

[10] 喬瑞.基于優(yōu)化自組織聚類神經(jīng)網(wǎng)絡(luò)的入侵檢測方法研究[J].計算機與現(xiàn)代化，2005（1）：77-79.

篇4

（四川信息職業(yè)技術(shù)學(xué)院，四川廣元628017）

摘要：考慮到傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在進行P2P流量識別時，具有系統(tǒng)識別速度慢、精度低，神經(jīng)網(wǎng)絡(luò)自身容易陷入局部最小值等問題，使用遺傳算法對BP神經(jīng)網(wǎng)絡(luò)進行優(yōu)化。遺傳算法具有較強的自適應(yīng)性和魯棒性，因此使用遺傳算法對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進行優(yōu)化處理，能夠有效提高神經(jīng)網(wǎng)絡(luò)的性能。建立基于遺傳神經(jīng)網(wǎng)絡(luò)的識別系統(tǒng)，采集處理大量樣本數(shù)據(jù)，對識別系統(tǒng)進行訓(xùn)練和測試。研究結(jié)果表明，基于遺傳神經(jīng)網(wǎng)絡(luò)的P2P流量識別系統(tǒng)具有識別精度高、識別速度快等優(yōu)點，相比傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，其識別性能有明顯提高。

關(guān)鍵詞 ：遺傳算法；P2P；流量識別；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：TN711?34；TP393 文獻標(biāo)識碼：A 文章編號：1004?373X（2015）17?0117?04

隨著計算機科學(xué)技術(shù)的不斷發(fā)展與進步，P2P技術(shù)已經(jīng)廣泛應(yīng)用于網(wǎng)絡(luò)視頻音頻多媒體播放、網(wǎng)絡(luò)文件共享以及數(shù)據(jù)傳輸?shù)阮I(lǐng)域，P2P技術(shù)不斷吸引了越來越多的網(wǎng)絡(luò)用戶、網(wǎng)絡(luò)應(yīng)用服務(wù)開發(fā)者以及提供商的目光，各種各樣的基于P2P技術(shù)的網(wǎng)絡(luò)應(yīng)用和服務(wù)不斷涌現(xiàn)，為人們在網(wǎng)絡(luò)中提供了便利。然而，隨著人們享受著P2P技術(shù)帶來的各種便利的同時，P2P技術(shù)的各種負面效應(yīng)也隨之而來。目前P2P應(yīng)用存在對網(wǎng)絡(luò)流量消耗巨大，監(jiān)管難度大，以及易于網(wǎng)絡(luò)病毒傳播，為網(wǎng)絡(luò)帶來安全隱患等問題。因此，對P2P流量的精確識別和監(jiān)測成為了對P2P技術(shù)研究的重中之重[1?5]。

1 P2P 流量識別技術(shù)

1.1 典型P2P流量識別技術(shù)

典型的P2P流量識別技術(shù)主要有：基于端口的識別技術(shù)、基于深層數(shù)據(jù)包的識別技術(shù)以及基于流量變化特征的識別技術(shù)。

基于端口的識別技術(shù)是一種應(yīng)用最早的識別技術(shù)，其主要根據(jù)早期P2P應(yīng)用的固定端口進行識別，具有算法簡便，易于實現(xiàn)等優(yōu)點，但是對于現(xiàn)如今復(fù)雜的網(wǎng)絡(luò)環(huán)境，此種技術(shù)已經(jīng)不再適用[6?7]。

基于深層數(shù)據(jù)包的識別技術(shù)往往因為存在識別滯后、隱私保護以及算法復(fù)雜等缺點而得不到廣泛普及應(yīng)用。

基于流量變化特征的識別技術(shù)通過對P2P流量數(shù)據(jù)進行采集，通過處理數(shù)據(jù)得到數(shù)據(jù)流的統(tǒng)計特征，使用統(tǒng)計特征作為機器學(xué)習(xí)的訓(xùn)練樣本，得到經(jīng)過訓(xùn)練的識別系統(tǒng)。此識別技術(shù)具有算法簡便、效率高等優(yōu)點[8?9]。

1.2 基于神經(jīng)網(wǎng)絡(luò)的P2P流量識別技術(shù)

BP 神經(jīng)網(wǎng)絡(luò)是一種有督導(dǎo)的智能機器學(xué)習(xí)算法，已經(jīng)在機械、計算機、通信等領(lǐng)域得到了廣泛應(yīng)用，其技術(shù)發(fā)展已經(jīng)相對成熟。將BP神經(jīng)網(wǎng)絡(luò)用于對P2P流量的識別是一種可行有效的識別技術(shù)和手段。

然而將BP神經(jīng)網(wǎng)絡(luò)算法用于P2P流量識別雖然克服了傳統(tǒng)識別方法存在的諸多問題，但是由于算法自身特性也隨之帶來了新的問題。

BP神經(jīng)網(wǎng)絡(luò)實際上是梯度下降算法的一種迭代學(xué)習(xí)方法。由于梯度下降算法要求具有較小的學(xué)習(xí)速度時才能進行穩(wěn)定的學(xué)習(xí)，因此其收斂速度較慢。并且，由于BP神經(jīng)網(wǎng)絡(luò)在進行訓(xùn)練時，會在某點沿著誤差斜面而漸進誤差極值，不同的起點會得到不同的誤差極值和不同的解。因此傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點[10?11]。

2 BP 神經(jīng)網(wǎng)絡(luò)和遺傳神經(jīng)網(wǎng)絡(luò)

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。通常由輸入層、輸出層和隱含層組成。

4 結(jié)論

本文對P2P 流量識別技術(shù)進行了深入研究。P2P技術(shù)在網(wǎng)絡(luò)中已經(jīng)得到了廣泛應(yīng)用，其流量在網(wǎng)絡(luò)總流量中占有重要地位，因此對其流量進行實時監(jiān)測識別具有重要意義。本文對P2P流量識別技術(shù)進行了分析，對使用比較廣泛的BP神經(jīng)網(wǎng)絡(luò)模型進行了深入研究，并針對其缺點，使用遺傳算法進行優(yōu)化，建立基于遺傳神經(jīng)網(wǎng)絡(luò)的P2P流量識別模型。通過實驗采集大量網(wǎng)絡(luò)訓(xùn)練樣本和測試樣本，對建立的識別系統(tǒng)進行測試。測試結(jié)果表明，基于遺傳算法的神經(jīng)網(wǎng)絡(luò)的識別速度和識別精度要高于BP神經(jīng)網(wǎng)絡(luò)，具有較高的工程應(yīng)用價值。

參考文獻

[1] 譚紅春，楊松濤，闞紅星.校園網(wǎng)P2P 流量綜合檢測技術(shù)研究[J].長沙大學(xué)學(xué)報，2015（2）：70?72.

[2] 劉興光.一種混合式BT流量實時檢測方法[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（3）：53?55.

[3] 湯偉.基于數(shù)據(jù)流特征向量識別的P2P 僵尸網(wǎng)絡(luò)檢測方法研究[D].青島：中國海洋大學(xué)，2014.

[4] 席鵬.基于距離判決算法的P2P流量識別模型研究[D].昆明：云南大學(xué)，2013.

[5] 鄧力為.基于遺傳神經(jīng)網(wǎng)絡(luò)的P2P流量檢測研究[D].成都：電子科技大學(xué)，2013.

[6] 張龍璨.基于粒子群優(yōu)化半監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)流量分類方法研究[D].武漢：華中科技大學(xué)，2013.

[7] 張瀚.基于DPI技術(shù)的P2P流量檢測系統(tǒng)設(shè)計[D].北京：北京郵電大學(xué)，2013.

[8] 馬容生.基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的P2P流量檢測研究[J].通信技術(shù)，2012（6）：113?116.

[9] 張瀚，朱洪亮，辛陽.基于DPI 技術(shù)的P2P 流量檢測系統(tǒng)設(shè)計[J].信息網(wǎng)絡(luò)安全，2012（10）：36?40.

[10] 張小敏.基于DPI的P2P流量識別方法研究[D].南京：南京郵電大學(xué)，2012.

[11] 周雪蓮.P2P流量應(yīng)用層實時檢測技術(shù)研究[D].長春：吉林大學(xué)，2012.

[12] 賀毅朝，宋建民，張敬敏，等.利用遺傳算法求解靜態(tài)與動態(tài)背包問題的研究[J].計算機應(yīng)用研究，2015（4）：1011?1015.

[13] 王曉瑜，原思聰，李曼.基于自適應(yīng)蟻群遺傳混合算法的PID參數(shù)優(yōu)化[J].計算機應(yīng)用研究，2015（5）：1376?1378.

[14] 劉奕君，趙強，郝文利.基于遺傳算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛阮A(yù)測研究[J].礦業(yè)安全與環(huán)保，2015，42（2）：56?60.

[15] 吳連平，楊曉翔.基于神經(jīng)網(wǎng)絡(luò)與遺傳算法的關(guān)節(jié)軸承擠壓模具優(yōu)化[J].中國機械工程，2015，26（10）：1351?1355.

[16] 李麟青，楊哲，朱艷琴.一種混合式BitTorrent流量檢測方法[J].計算機應(yīng)用，2011，31（12）：3210?3214.

篇5

關(guān)鍵詞： 灰色系統(tǒng)模型，神經(jīng)網(wǎng)絡(luò)，電信業(yè)務(wù)預(yù)測

中圖分類號：TN92 文獻標(biāo)識碼：B

1 引言

電信業(yè)務(wù)預(yù)測是通信網(wǎng)絡(luò)分階段建設(shè)規(guī)劃的前提條件，同時也是規(guī)劃期內(nèi)電信業(yè)務(wù)量和投資預(yù)估的必要條件之一。預(yù)測方法的選擇直接關(guān)系到預(yù)測結(jié)果的精確程度。傳統(tǒng)的預(yù)測方法很多，如趨勢外推法，成長曲線法等，但這些預(yù)測方法預(yù)測結(jié)果均為平滑的曲線，無法直觀描述出電信業(yè)務(wù)隨季節(jié)及其他外部環(huán)境引起的波動。因此，神經(jīng)網(wǎng)絡(luò)法便給傳統(tǒng)預(yù)測方法進行了很好的補充。近年來神經(jīng)網(wǎng)絡(luò)算法逐漸得到預(yù)測科學(xué)工作者的重視，已經(jīng)在預(yù)測領(lǐng)域中得到了廣泛的應(yīng)用，神經(jīng)網(wǎng)絡(luò)預(yù)測法是一種由多個神經(jīng)元以某種規(guī)則連接而形成的層次網(wǎng)絡(luò)結(jié)構(gòu)，其基本原理是這些神經(jīng)元之間“相互協(xié)作”，它有許多優(yōu)點，對環(huán)境因素引起的波動性具有良好的適應(yīng)性；對非線性輸入輸出關(guān)系的學(xué)習(xí)更具有優(yōu)越性，其描述問題的能力很強。但是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法（如BP神經(jīng)網(wǎng)絡(luò)）是一種基于誤差函數(shù)梯度下降的學(xué)習(xí)方法，學(xué)習(xí)過程收斂速度較慢；其次，有些神經(jīng)網(wǎng)絡(luò)訓(xùn)練開始時初始權(quán)值是隨機給定的，這對網(wǎng)絡(luò)的訓(xùn)練效果也會有極大影響，甚至導(dǎo)致網(wǎng)絡(luò)陷入局部最小點。

灰色系統(tǒng)理論是一種研究少數(shù)據(jù)，貧信息、不確定性問題的新方法，它以部分信息已知、部分信息未知的“小樣本”、“貧信息”不確定系統(tǒng)為研究對象，通過對“部分”已知信息的生成、開發(fā)，提取有價值的信息，實現(xiàn)對系統(tǒng)運行行為、演化規(guī)律的正確描述和有效監(jiān)控。

2 灰色神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及算法

3 數(shù)據(jù)來源及實證結(jié)果

對于移動通信運營商來說，VLR用戶數(shù)（拜訪位置寄存器）隨節(jié)假日的波動很大，尤其是人口輸入/輸出城市，節(jié)假日大量外來人口的返鄉(xiāng)/外出，會給當(dāng)?shù)剡\營商的核心網(wǎng)及無線載頻處理能力帶來較大的考驗，因此，合理準(zhǔn)確的預(yù)測出該地市未來VLR用戶數(shù)可以很大程度上幫助運營商為用戶數(shù)的變化做好系統(tǒng)的擴容準(zhǔn)備工作。對于某個運營商的VLR用戶數(shù)，影響其變化的因素很多，比如節(jié)假日，季節(jié)性因素，人均通信消費指數(shù)，當(dāng)?shù)氐囊苿与娫捚占奥?，該運營商收費用戶數(shù)、品牌影響力，終端價格，競爭對手、市場特征等，本人根據(jù)各因素對VLR用戶數(shù)影響程度的大小，從中選取了該運營商收費用戶數(shù)、節(jié)假日、當(dāng)?shù)匾苿与娫捚占奥省⑵放朴绊懥?、競爭對?個最重要的因素來預(yù)測某地市移動運營商的VLR用戶數(shù)。

該論文中，本人選取該地市的過去3年（36個月）的VLR用戶數(shù)進行驗證，首先取前30個月的數(shù)據(jù)作為訓(xùn)練樣本，通過灰色神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)100次后預(yù)測最后6個月的數(shù)據(jù)與實際VLR用戶數(shù)做比較，如圖4所示。

從上圖可以看出，灰色系統(tǒng)模型預(yù)測結(jié)果與實際值相比，誤差在10%以內(nèi)，并很好的反應(yīng)了VLR用戶的波動性，因此可以說明灰色系統(tǒng)模型比較適合小樣本預(yù)測問題，在實際預(yù)測中，若與傳統(tǒng)預(yù)測方法相結(jié)合，并合理加權(quán)，預(yù)測準(zhǔn)確度將更高。

4 結(jié)束語

本文為其他神經(jīng)網(wǎng)絡(luò)模型所存在易于陷入局部最優(yōu)解等缺陷而提出了基于灰色基礎(chǔ)模型的神經(jīng)網(wǎng)絡(luò)算法，并利用所設(shè)計的灰色系統(tǒng)模型神經(jīng)網(wǎng)絡(luò)算法，選擇我國某地市的移動公司VLR用戶數(shù)作為數(shù)據(jù)樣本，對該公司的VLR用戶數(shù)進行預(yù)測，并對比其他神經(jīng)網(wǎng)絡(luò)模型，實證結(jié)果表明，灰色系統(tǒng)模型神經(jīng)網(wǎng)絡(luò)算法，相對其他神經(jīng)網(wǎng)絡(luò)而言，其預(yù)測效率和準(zhǔn)確率大大得到提高，在電信業(yè)務(wù)預(yù)測方面具有較好的應(yīng)用前景。

參考文獻：

[1]WANG Q， STOCKTON D J， BAGULEY P. Using neural networks in cost model development process [C].Proc of the 16th National Conf on Manufacturing Research， UK：Professional Engineering， 2000

[2]SMITH A E， MASON A K. Cost estimation predictive modeling： regression versus neural [J].Engineering Economist， 1997

[3]何 芳 陳 收：基于擴展卡爾曼濾波的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法在股票預(yù)測中的應(yīng)用[J].系統(tǒng)工程，2003

[4]史峰：MATLAB 神經(jīng)網(wǎng)絡(luò)30個案例分析，北京航空航天大學(xué)出版社，2010.4

[5]Jatomder N D. Gupta， Sexton R S. Comparing back-propagation with a genetic algorithm for neural network training[J].Omega，1999，

篇6

關(guān)鍵詞：粒子群 徑向基 神經(jīng)網(wǎng)絡(luò) 語音識別

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1007-9416（2013）04-0109-02

近年來，語音識別作為一種便捷的人機交互方式被大量研究，并在日常生活中得到廣泛應(yīng)用。大體上講，語音識別就是在給定的語料庫中找出與待識別詞語相同的語料，其識別方法的選擇對識別效果至關(guān)重要。語音識別的方法主要有3種：基于語音特征和聲道模型的方法、模板匹配的方法和人工神經(jīng)網(wǎng)絡(luò)[1]。第1種方法出現(xiàn)較早，但由于其模型過于復(fù)雜，并未得到實際應(yīng)用。第2種方法較為成熟，主要通過動態(tài)時間規(guī)整（DTW）、隱馬爾可夫模型（HMM）和矢量量化（VQ）技術(shù)實現(xiàn)[2]。第3種方法充分利用人工神經(jīng)網(wǎng)絡(luò)較強的分類能力和輸入——輸出映射能力，非常適合解決語音識別這類難以用算法描述而又有大量樣本可供學(xué)習(xí)的問題[3]。

因此，本文將智能領(lǐng)域廣泛使用的RBF神經(jīng)網(wǎng)絡(luò)運用到語音識別中，針對RBF神經(jīng)網(wǎng)絡(luò)隱層基函數(shù)的中心值和寬度隨機確定的缺陷，運用具有全局尋優(yōu)能力的粒子群算法（PSO）進行優(yōu)化，來提高網(wǎng)絡(luò)的泛化能力和收斂速度，從而提高識別率。實驗結(jié)果表明，粒子群優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)用于語音識別，能夠顯著提升識別性能。

1 粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)

1.1 RBF神經(jīng)網(wǎng)絡(luò)

1.2 粒子群優(yōu)化RBF網(wǎng)絡(luò)算法

因此，RBF神經(jīng)網(wǎng)絡(luò)隱層基函數(shù)中心值和寬度的優(yōu)化過程就是PSO算法依據(jù)輸入樣本進行聚類的過程，其基本流程為：

（1）參數(shù)初始化，包括粒子速度、位置，個體最優(yōu)位置和全局最優(yōu)位置；

（2）據(jù)（5）式計算慣性權(quán)重；

（3）據(jù)（3）（4）式更新粒子的速度和位置；

（4）據(jù)（6）式計算各粒子適應(yīng)度值，并更新個體最優(yōu)位置和全局最優(yōu)位置；

（5）用全局最優(yōu)粒子代替本次迭代適應(yīng)度差的粒子；

（6）反復(fù)迭代，直到最大迭代次數(shù)則停止，得聚類中心。

2 PSO優(yōu)化RBF語音識別系統(tǒng)

語音識別過程主要包括信號預(yù)處理、特征提取、網(wǎng)絡(luò)訓(xùn)練及識別[6]。預(yù)處理主要對語音進行分幀、預(yù)加重和加窗處理。特征提取用于提取語音中反映聲學(xué)特征的相關(guān)參數(shù)，本文采用的是過零峰值幅度（ZCPA）。網(wǎng)絡(luò)訓(xùn)練是在識別之前從語音樣本中去除冗余信息，提取關(guān)鍵參數(shù)，再按照一定規(guī)則對數(shù)據(jù)加以聚類，形成模式庫。網(wǎng)絡(luò)識別是通過已訓(xùn)練好的網(wǎng)絡(luò)，計算測試樣本數(shù)據(jù)與模式庫之間的相似度，判斷出輸入語音所屬的類別。粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的語音識別系統(tǒng)原理框圖如圖1所示。

PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)進行語音識別的實驗步驟如下：

第1步：提取特征。

首先對用于訓(xùn)練和識別的各種信噪比的語音文件進行ZCPA特征提取。語音信號的采樣頻率為11.025kHz，每幀為256個采樣點，經(jīng)過時間和幅度歸一化處理后，得到256維特征矢量序列。

第2步：網(wǎng)絡(luò)訓(xùn)練。

網(wǎng)絡(luò)訓(xùn)練的過程就是調(diào)整RBF神經(jīng)網(wǎng)絡(luò)基函數(shù)的中心和寬度以及隱層到輸出層之間的連接權(quán)值。實驗中，類別數(shù)為待識別的詞匯數(shù)，如對10個詞進行識別，則隱層節(jié)點數(shù)、輸出層節(jié)點數(shù)和聚類中心均為10，如對20個詞進行識別，則隱層節(jié)點數(shù)、輸出層節(jié)點數(shù)和聚類中心均為20，以此類推，本文對10詞、20詞、30詞和40詞分別進行訓(xùn)練識別。利用PSO優(yōu)化算法通過聚類獲取隱層基函數(shù)的中心值和寬度，網(wǎng)絡(luò)輸出權(quán)值使用偽逆法得到。在PSO算法中，種群大小為20，最大進化迭代次數(shù)為40。

第3步：網(wǎng)絡(luò)識別。

RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練好后，將測試集中的樣本輸入網(wǎng)絡(luò)進行識別測試。每輸入一個單詞的特征矢量，經(jīng)過隱層、輸出層的計算后可得一個單詞分類號，將這個分類號與輸入詞自帶的分類號進行對比，相等則認為識別正確，反之，識別錯誤。最后將識別正確的個數(shù)與所有待識別單詞數(shù)的比值作為最終的識別率。

3 實驗仿真分析

本文運用matlab在PC機上仿真實現(xiàn)了PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的孤立詞語音識別系統(tǒng)，選用在不同高斯白噪聲條件下（包含15dB、20dB、25dB和無噪聲），18個人分別錄制40詞各三次，形成實驗語音數(shù)據(jù)，實驗時選其中10人的10詞、20詞、30詞、40詞語音數(shù)據(jù)分別作為訓(xùn)練樣本，另外8個人對應(yīng)的10詞、20詞、30詞、40詞語音數(shù)據(jù)分別作為測試樣本進行實驗，得到了不同噪聲和詞匯量下的粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的語音識別結(jié)果。

表1所示為在不同詞匯量和不同SNR下，分別基于PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)RBF神經(jīng)網(wǎng)絡(luò)采用ZCPA語音特征參數(shù)的語音識別結(jié)果。由表中識別率的變化可知，基于PSO優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)的識別率在不同詞匯量和不同信噪比下都比標(biāo)準(zhǔn)RBF神經(jīng)網(wǎng)絡(luò)的高，正確識別出的詞匯量明顯增多，這充分證明改進后的RBF神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)性和強大的分類能力，縮短網(wǎng)絡(luò)訓(xùn)練時間的同時，提高了系統(tǒng)的識別性能，尤其在大詞匯量的語音識別中表現(xiàn)出更加明顯的優(yōu)勢。

4 結(jié)語

本文采用粒子群優(yōu)化算法來聚類RBF神經(jīng)網(wǎng)絡(luò)隱層基函數(shù)中心值和寬度，并將PSO改進的RBF神經(jīng)網(wǎng)絡(luò)用于語音識別中。通過仿真實驗，得出了其與標(biāo)準(zhǔn)RBF神經(jīng)網(wǎng)絡(luò)在不同詞匯量和不同SNR下的語音識別結(jié)果。通過分析比較，證明了PSO優(yōu)化后的RBF神經(jīng)網(wǎng)絡(luò)有較高的識別率，且訓(xùn)練時間明顯縮短，表明神經(jīng)網(wǎng)絡(luò)方法非常適宜求解語音識別這類模式分類問題。

參考文獻

[1]Edmondo Trentin， Marco Gori. A survey of hybrid ANN/HMM models for automatic speech recognition[J].Neurocomputing，2001，（37）：91-126.

[2]王凱.免疫粒子群改進LBG的孤立詞語音識別算法研究[J].數(shù)字技術(shù)與應(yīng)用，2013，（1）：111-113.

[3]夏妍妍，黃健，尹麗華.基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的語音識別[J].大連海事大學(xué)學(xué)報，2007，（S1）：157-159.

[4]孟艷，潘宏俠.PSO聚類和梯度算法結(jié)合的RBF神經(jīng)網(wǎng)絡(luò)優(yōu)化[J].自動化儀表，2011，（02）：6-8.

篇7

關(guān)鍵詞：模糊神經(jīng)網(wǎng)絡(luò)；PID；控制系統(tǒng)；非線性

中圖分類號：TP183 文獻標(biāo)識碼：A文章編號：1007-9599 (2011) 20-0000-02

Design of Control System Based on FNN PID

Duan Zhengjun1,Zhao Ran1,Tian Wenxue2

(1.TISCO Stainless Steel Pipe company,Taiyuan030000,China;2. China Chemical Engineering Second Construction Corporation,Taiyuan030000,China)

Abstract:At present,many of intelligent algorithm apply to the non-linear control system,it is intelligent control systems,for example,neural network,fuzzy control.According to the neural networks and fuzzy control in this article,introduced design principles and implementation based on neural nerwork and PID algorithm.

Keywords:Fuzzy neural network;PID;Control System;Nonlinear

一、引言

模糊神經(jīng)網(wǎng)絡(luò)（FNN）是模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者結(jié)合的產(chǎn)物。模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者單獨使用時候，都會有一定的缺陷。模糊邏輯在一定的論域上面有很好的收斂性，在進行模糊量的運算上有優(yōu)勢；而神經(jīng)網(wǎng)絡(luò)具有強的自學(xué)習(xí)、自適應(yīng)、并行運算和精確計算的能力。因此，兩者結(jié)合可以優(yōu)勢互補，從而很大提高綜合能力。FNN-PID是將模糊神經(jīng)網(wǎng)絡(luò)融進PID算法中，實現(xiàn)二者結(jié)合。FNN-PID算法具有PID控制器優(yōu)點、模糊控制的良好收斂性和對模糊量的運算優(yōu)勢，也有神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、自適應(yīng)的特性。

二、FNN系統(tǒng)結(jié)構(gòu)

FNN具有很多種結(jié)構(gòu)和算法，對于不同的控制對象，在綜合考慮運算速度和精度的情況下，可以使模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有所不同。本文模糊神經(jīng)網(wǎng)絡(luò)采用如圖1的結(jié)構(gòu)，兩個輸入變量是有 、 ，為誤差E與誤差變化量EC。輸出變量為Y，為PID三要素中的一個。根據(jù)專家經(jīng)驗知識把每個輸入因子分為（NM，NS，ZO，PS，PM）五個模糊狀態(tài)記為T[ ]。

圖1.模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

第一層至第三層是實現(xiàn)模糊控制規(guī)則，第四層去除模糊化并實現(xiàn)輸出實際控制對象的值，每層的作用如下：

第一層為輸入層，該層的節(jié)點直接與輸入層相連，起著將輸入向量X傳送到下一層的作用，其節(jié)點個數(shù)等于輸入變量個數(shù)。輸入輸出關(guān)系可表示為：

， i=1，2（1）

第二層為隸屬函數(shù)層，其作用是計算輸入量屬于各語言變量值模糊集合的隸屬函數(shù)值，節(jié)點個數(shù) ，每個節(jié)點代表一個模糊集合，可表示為：

， j=1，2，3（2）

式中j―― 的模糊分割數(shù)， 、 ――高斯函數(shù)中第j個輸入對第i個結(jié)點的中心和寬度。

第三層為模糊規(guī)則層，每個節(jié)點代表一條模糊規(guī)則。采用IF-THEN模糊規(guī)則，可表示為：

：If is and is and…is THEN Yis（3）

式中，1≤n≤2，1≤i≤3： （4）

第四層為輸出層： （5）

三、FNN的學(xué)習(xí)算法及步驟

在學(xué)習(xí)方法上，我們選擇在線學(xué)習(xí)，在線學(xué)習(xí)就是針對整個訓(xùn)練集的每一個輸入和對應(yīng)的輸出要求，每學(xué)習(xí)一條規(guī)則，就進行一次連接權(quán)的調(diào)整；這樣一輪一輪不斷的自動的調(diào)整網(wǎng)絡(luò)連接權(quán)，知道整個網(wǎng)絡(luò)達到所有的要求的響應(yīng)為止。學(xué)習(xí)目的是對產(chǎn)生樣本規(guī)律的統(tǒng)計特性進行建模，從具體觀測推測隱含的規(guī)律，輸出結(jié)果與樣本接近。為了提高測量的精度，要求 、 和 三個參數(shù)能夠適應(yīng)環(huán)境的變化，即可實時調(diào)節(jié)高斯隸屬函數(shù)和連接第三、第四層的權(quán)重比。具體算法如下：

式（5）可以按下式表示：（6）

設(shè) ， ， ，從而得到式（6）的簡化形式為： ，由式子（6）和式子（7）得到（8）式：

（9）

（10）

定義輸出誤差為： （11），其中 ――k時刻的輸出值， ――k時刻的輸出期望值。

定義系統(tǒng)的性能指標(biāo)為：（12）

采用反方向傳播方法進行監(jiān)督學(xué)習(xí)，使性能指標(biāo)E值最小化。根據(jù)梯度下降方法有：

以上式子分別為（13），（14），（15）。其中 為學(xué)習(xí)速度，由于采用在線學(xué)習(xí)，那么 為一個定值。根據(jù)性能指標(biāo)選取規(guī)則和專家經(jīng)驗知識，取終止條件為E≤0.005，具體的學(xué)習(xí)步驟如下：

步驟1： 、 、 及 的初始值在[0，1]之間隨機選取， 的值為恒定值，根據(jù)經(jīng)驗決定。

步驟2：根據(jù)式子（11），（13），（14），（15）計算得出比較理想的 ， ， 值。

步驟3：根據(jù)式子（12）計算E，若E≤0.002，迭代結(jié)束。否則，令 ， ， 為初始值并返回步驟2。

四、PID-FNN系統(tǒng)的設(shè)計及實現(xiàn)

根據(jù)FNN結(jié)構(gòu)可知，輸入是誤差和誤差變化量，輸出是PID控制參數(shù)中的一個，故我們設(shè)計PID-FNN系統(tǒng)時要使用3個FNN，選擇這樣的FNN結(jié)構(gòu)是為了更加精確的得到PID所需要的修正值。當(dāng)然，這里所用的FNN是已經(jīng)結(jié)束學(xué)習(xí)過程的。PID-FNN控制系統(tǒng)的具體結(jié)構(gòu)如圖2所示。

PID-FNN系統(tǒng)具體實現(xiàn)過程如下：①根據(jù)FNN的學(xué)習(xí)算法，通過提供的樣本對FNN-Kp、FNN-Ki和FNN-Kd進行訓(xùn)練，使其得到合適的權(quán)值，滿足性能指標(biāo)為止。②誤差和誤差變化量做歸一化處理，作為FNN-Kp、FNN-Ki和FNN-Kd的輸入。③根據(jù)式子（1）（2）（4）（5）計算FNN的各層的輸出，F(xiàn)NN-Kp、FNN-Ki和FNN-Kd最后一層的輸出就是PID控制參數(shù)Kp、Ki和Kd的修正值。④利用③中得到的修正值，對經(jīng)典PID控制器所得出的Kp、Ki和Kd的值進行修正。⑤Kp、Ki和Kd的修正后的值傳送給控制對象，并由圖2中所示，控制結(jié)果反饋回到計算誤差處進行誤差計算。由此跳轉(zhuǎn)到②步。

圖2.FNN-PID系統(tǒng)結(jié)構(gòu)

五、結(jié)束語

FNN融合了模糊控制和神經(jīng)網(wǎng)絡(luò)的特點，本文利用這一點設(shè)計了PID-FNN控制系統(tǒng)并予以實現(xiàn)。文章中介紹了FNN的系統(tǒng)結(jié)構(gòu)和學(xué)習(xí)過程的算法以及步驟，然后設(shè)計了PID-FNN的系統(tǒng)結(jié)構(gòu)，并且描述了具體的實現(xiàn)過程。

本文作者創(chuàng)新點：模糊神經(jīng)網(wǎng)絡(luò)（FNN）是模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者結(jié)合的產(chǎn)物。兩者結(jié)合可以優(yōu)勢互補，從而很大提高綜合能力。從而能夠更迅速、更精確的對PID參數(shù)進行修正，已達到最佳的控制狀態(tài)。

參考文獻：

[1]李士勇.模糊控制,神經(jīng)控制和智能控制論[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,1996

[2]曾黃麟.智能計算[M].重慶:重慶大學(xué)出版社,2004

[3]晁勤,傅成華.自動控制原理[M].重慶:重慶大學(xué)出版社,2005

[4]武嘉.輔助控制系統(tǒng)設(shè)計與仿真[M].北京:電子工業(yè)出版社,2005

篇8

關(guān)鍵詞:室內(nèi)定位;RSS; BP神經(jīng)網(wǎng)絡(luò);IEEE 802.11b

中圖分類號:TN911.23 文獻標(biāo)識碼:A

1 引 言

目前,室內(nèi)定位算法主要有以下幾種｡

1)Time of arrival(TOA)

TOA定位的基本原理是通過測量節(jié)點間電波傳播的時間來確定節(jié)點的位置｡

TOA算法要求參加定位的各個基站在時間上實現(xiàn)嚴格同步｡在室內(nèi)環(huán)境中,由于已知點到待測點的距離通常不遠,無線電波的傳播速度太快,且存在嚴重的多徑干擾,因此無法利用無線電波進行測距｡目前,基于TOA的室內(nèi)定位技術(shù)通常是利用超聲波傳播速度較慢的特點(在20攝氏度時超聲波的傳播速度為343.38m/s),來測量出已知點和待測點間的距離,進而求出待測點的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美國開發(fā)的衛(wèi)星導(dǎo)航定位系統(tǒng),本質(zhì)上它也是一個基于TOA的定位系統(tǒng)｡

GPS L1 Re-radiating是將GPS在L1頻段上的信號,通過戶外天線接收后,增益放大為室內(nèi)可接收信號,進而基于GPS實現(xiàn)室內(nèi)定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移動裝置偵測所接收到的無線電波信號強弱,然后根據(jù)經(jīng)驗?zāi)Ｐ突騌SS隨距離衰減的模型來推斷節(jié)點間的距離,進而實現(xiàn)定位[2]｡

該技術(shù)主要使用無線網(wǎng)絡(luò)本身的無線電信號來定位,不需額外添加硬件,是一種低功率､廉價的定位技術(shù)[3]｡

基于信號強度的室內(nèi)定位方法分為經(jīng)驗?zāi)Ｐ头ê托盘査p模型法｡

(1)經(jīng)驗?zāi)Ｐ头?/p>

在經(jīng)驗?zāi)Ｐ头ㄖ?將RSSI數(shù)據(jù)轉(zhuǎn)換為位置信息的方法主要有判定法和概率法兩種｡

(2)信號衰減模型法

信號衰減模型法則無需實地測量位置和RSSI,而是依據(jù)信號強度和距離的特定關(guān)系,結(jié)合三角測量法,根據(jù)來自三個(或以上)AP的RSSI來計算出待測點的位置｡

基于TOA的定位模型在開放的室外環(huán)境中非常有效,但在室內(nèi)環(huán)境卻存在一些問題｡使用超聲波雖可克服無線電波傳輸速度快的問題,但需構(gòu)建專門的超聲波系統(tǒng)｡GPS也主要是針對戶外目標(biāo)設(shè)計的定位系統(tǒng),應(yīng)用于室內(nèi)存在定位精度不高等問題｡基于RSS的定位模型中,經(jīng)驗法需進行大量的實地測量,同時無法保護定位用戶的隱私;而信號衰減法在室內(nèi)受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡

因此,本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型并借助MATLAB 7.0加以實現(xiàn)｡采用該方法進行室內(nèi)定位,不需要WLAN以外的其他資源｡由于不需要知道定位節(jié)點和建筑物的詳細特性,用戶的隱私將隨之得到完全的保護｡

2 基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型

BP神經(jīng)網(wǎng)絡(luò)通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經(jīng)網(wǎng)絡(luò),目前,該算法已成為應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[4]｡

BP神經(jīng)網(wǎng)絡(luò)采用的是并行網(wǎng)絡(luò)結(jié)構(gòu),包括輸入層､隱含層和輸出層,經(jīng)作用函數(shù)后,再把隱節(jié)點的輸出信號傳遞到輸出節(jié)點,最后給出輸出結(jié)果｡該算法的學(xué)習(xí)過程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層｡第一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)｡如果在輸出層得不到期望的輸出結(jié)果,則轉(zhuǎn)入反向傳播,將誤差信號(目標(biāo)值與網(wǎng)絡(luò)輸出之差)沿原來的連接通道返回,通過修改各層神經(jīng)元權(quán)值,使得誤差均方最小｡神經(jīng)網(wǎng)絡(luò)理論已經(jīng)證明BP神經(jīng)網(wǎng)絡(luò)具有強大的非線性映射能力和泛化功能,任一連續(xù)函數(shù)或映射均可采用三層網(wǎng)絡(luò)加以實現(xiàn)｡

計算技術(shù)與自動化2007年6月第26卷第2期李 瑛等:一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型2.1 樣本數(shù)據(jù)的采集和處理

輸入向量為待測點收到的來自至少三個不同位置AP的RSSI值,輸出向量為待測點的坐標(biāo)值(X,Y)｡

樣本采集在一個10mX10m的室內(nèi)場地中進行｡使用3個來自SMC公司的AP和1臺配置了ORiNOCO PC CARD的筆記本電腦｡AP及無線網(wǎng)卡符合并工作在IEEE 802.11b標(biāo)準(zhǔn)下｡筆記本電腦所使用的操作系統(tǒng)為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區(qū)域中｡

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的確定

Kolmogorov定理已經(jīng)證明[5],任意一連續(xù)函數(shù)可由一個三層BP 網(wǎng)絡(luò)來實現(xiàn)｡雖然研究表明三層以上的BP網(wǎng)絡(luò)可以減少隱含層節(jié)點數(shù),提高計算效率,但在缺乏理論指導(dǎo)的BP網(wǎng)絡(luò)設(shè)計中這樣做容易使問題趨向復(fù)雜化｡因此選擇三層BP神經(jīng)網(wǎng)絡(luò),即只有1個隱含層的BP神經(jīng)網(wǎng)絡(luò)｡

該網(wǎng)絡(luò)輸入層的節(jié)點數(shù)由輸入向量的維數(shù)決定,輸入向量的維數(shù)是3,所以輸入層節(jié)點數(shù)確定為3個｡輸出層節(jié)點數(shù)由輸出向量的維數(shù)決定,這里輸出節(jié)點數(shù)為2 ｡

隱含層節(jié)點數(shù)的選擇在BP網(wǎng)絡(luò)設(shè)計中是一個難點,目前還沒有理論上的指導(dǎo)｡過多的網(wǎng)絡(luò)節(jié)點會增加訓(xùn)練網(wǎng)絡(luò)的時間,也會使網(wǎng)絡(luò)的泛化能力減弱,網(wǎng)絡(luò)的預(yù)測能力下降｡然而網(wǎng)絡(luò)節(jié)點過少則不能反映后續(xù)值與前驅(qū)值的相關(guān)關(guān)系,建模不充分｡經(jīng)反復(fù)試驗,將隱含層節(jié)點數(shù)定為30,這樣形成了一個3-30-2結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò),如圖1所示｡

2.3 學(xué)習(xí)算法的選擇

基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達到誤差要求｡但在實際應(yīng)用中,存在收斂速度慢､局部極值等缺點｡Matlab 7.0神經(jīng)網(wǎng)絡(luò)工具箱中提供了十多種快速學(xué)習(xí)算法,一類是采用啟發(fā)式學(xué)習(xí)方法,如引入動量因子的traingdm 算法､變速率學(xué)習(xí)算法traingda ､“彈性”學(xué)習(xí)算法trainrp等;另一類采用數(shù)值優(yōu)化方法,如共軛梯度學(xué)習(xí)算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復(fù)雜性的前提下,可以提高收斂速度,并且可沿共扼方向達到全局最小點,較好地解決了經(jīng)典BP算法所存在的收斂速度慢和可能出現(xiàn)局部最優(yōu)解的問題｡

2.4 BP神經(jīng)網(wǎng)絡(luò)的初始化､訓(xùn)練與仿真

1)建立網(wǎng)絡(luò)

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()為建立BP 神經(jīng)網(wǎng)絡(luò)的函數(shù);P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節(jié)點數(shù)是30,輸出層節(jié)點數(shù)是2,{′tansig′,′purelin′}表示隱含層中的神經(jīng)元采用tansig轉(zhuǎn)換函數(shù),輸出層采用purelin函數(shù),′traincgf′表示選擇的學(xué)習(xí)算法｡

2)權(quán)重和閾值初始化

net==init(net)

給各連接權(quán)重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機值｡

3)訓(xùn)練

[net,tr]=train(net,P,T)

P為輸入向量,T為目標(biāo)向量,根據(jù)網(wǎng)絡(luò)學(xué)習(xí)誤差逆?zhèn)鬟f算法,利用阻尼最小二乘算法迭代,由前一次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重及閾值訓(xùn)練得到新的網(wǎng)絡(luò)權(quán)重及閾值｡

為了使生成的BP網(wǎng)絡(luò)對輸入向量有一定的容錯能力,最好的方法是既使用理想的信號又使用帶有噪聲的信號對網(wǎng)絡(luò)進行訓(xùn)練｡具體做法是先用理想的輸入信號對網(wǎng)絡(luò)進行訓(xùn)練,直到起平方和誤差足夠小;然后,使用20組理想信號和帶有噪聲的信號對網(wǎng)絡(luò)進行訓(xùn)練｡經(jīng)過上述訓(xùn)練后,網(wǎng)絡(luò)對無誤差的信號也可能會采用對付帶有噪聲信號的辦法,這樣會導(dǎo)致很大的代價,因此,需要采用理想的向量對網(wǎng)絡(luò)再次訓(xùn)練,以保證網(wǎng)絡(luò)能對理想信號作出最好的反應(yīng)｡

使用函數(shù)traincgf對網(wǎng)絡(luò)進行訓(xùn)練時,當(dāng)網(wǎng)絡(luò)平方和誤差小于3時停止網(wǎng)絡(luò)的訓(xùn)練｡訓(xùn)練過程中的誤差變化情況如圖2所示｡

根據(jù)訓(xùn)練后的網(wǎng)絡(luò)及輸入向量進行仿真輸出｡

3 實驗結(jié)果及分析

利用訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)進行了36次定位,并統(tǒng)計了36次定位的平均誤差,結(jié)果如圖3所示｡

與利用信號衰減模型定位相比(如圖4所示),利用BP神經(jīng)網(wǎng)絡(luò)定位具有更高的統(tǒng)計精度｡

與信號衰減模型相比,雖然BP神經(jīng)網(wǎng)絡(luò)的模型解釋直觀性略有不足,但卻可獲得更精確的定位結(jié)果｡

利用BP神經(jīng)網(wǎng)絡(luò),雖然可解決傳統(tǒng)處理方法所不能處理的非線性映射問題,但在實際應(yīng)用中,對如何選擇和確定一個合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)沒有確切的理論指導(dǎo),只能通過試驗―調(diào)整―再試驗的過程來確定一個合適的網(wǎng)絡(luò)結(jié)構(gòu)｡同時,BP神經(jīng)網(wǎng)絡(luò)的隱含層作用機理和隱含層節(jié)點個數(shù)的選擇是BP神經(jīng)網(wǎng)絡(luò)的難點問題｡隱含層的節(jié)點個數(shù)的選擇需反復(fù)進行試驗,當(dāng)多次輸出結(jié)果在一定誤差范圍內(nèi)時才可確定｡

4 結(jié)束語

本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型,并在基于IEEE 802.11b標(biāo)準(zhǔn)的WLAN環(huán)境中對此模型進行了測試｡一個基于信號衰減模型的定位算法也在同樣的環(huán)境中進行了測試｡對比結(jié)果表明,利用BP神經(jīng)網(wǎng)絡(luò)進行室內(nèi)定位能取得更好的定位精度｡

篇9

關(guān)鍵詞：多元支持向量機 離心式壓縮機 故障診斷

The Application of Multi-Support Vector Machines in Fault Diagnosis for Compressors

Yu Huiyuan

（Well-Tech R&D Institutes， COSL， Yanjiao 065201， China）

Abstract： For solving the defect of traditional classificatory with many samples， a new classificatory recognizing faults based on Multi-Support Vector Machine （MSVM） is proposed for centrifugal compressors. SVM is a new machine study method which has excellent advantages in small-sample and multi-dimension binary classification. The new MSVM classificatory can be studied in a few samples rapidly to recognize several kinds of new faults. At the same time， the experiments showed that recognizing correct rate increased more greatly compared with traditional BP method.

Key words： MSVM； centrifugal compressor； fault diagnosis

一、引 言

壓縮機在工業(yè)生產(chǎn)領(lǐng)域中具有非常重要的作用，由于故障原因造成的啟停機一次所產(chǎn)生的經(jīng)濟損失是非常巨大的。如果能夠事先準(zhǔn)確診斷和預(yù)測出設(shè)備出現(xiàn)的各種故障，根據(jù)故障類型和實際情況采取相應(yīng)的措施，就可以避免或減少經(jīng)濟損失。機械故障診斷學(xué)就是通過研究故障和征兆之間的關(guān)系來判斷設(shè)備故障的。旋轉(zhuǎn)機械的故障形式多種多樣，故障產(chǎn)生的機理和原因也非常復(fù)雜[1]，加之實際因素的復(fù)雜性，故障和征兆之間表現(xiàn)出的關(guān)系也較為復(fù)雜，即各類故障所反映的特征參數(shù)并不完全相同，這種關(guān)系很難用精確的數(shù)學(xué)模型來表示，這就給現(xiàn)場診斷帶來了極大的困難。雖然神經(jīng)網(wǎng)絡(luò)具有充分逼近任意復(fù)雜非線性關(guān)系的能力和分類能力，但存在局部極小值、算法收斂速度慢、受網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性和樣本復(fù)雜性的影響較大、容易出現(xiàn)“過學(xué)習(xí)”或泛化能力低等缺點[2，3]。

支持向量機是一種新的機器學(xué)習(xí)方法，它較好的解決了非線性數(shù)據(jù)的分類問題，在小樣本和二元分類方面有非常突出的優(yōu)點。本文在分析了支持向量機的特點后，提出一種基于多元支持向量機的離心式壓縮機轉(zhuǎn)子故障分類識別方法，可以在較少樣本情況下完成對分類器的學(xué)習(xí)訓(xùn)練工作，從而達到提高故障診斷效率的目的。

二、支持向量機分類原理

支持向量機不同于神經(jīng)網(wǎng)絡(luò)基于經(jīng)驗的算法，它是實現(xiàn)結(jié)構(gòu)風(fēng)險最小化原則的一種學(xué)習(xí)算法，是利用核函數(shù)把特征樣本映射到高維特征空間，然后在此空間中構(gòu)造分類間隔最大的線性分類超平面，所以支持向量機比較適合于小樣本數(shù)據(jù)的分類。其基本思想如圖 1 所示，圖中圓點和三角點分別表示兩類訓(xùn)練樣本，H 為把兩類樣本完全無誤分開的分類線，H1、H2 分別為通過樣本中離分類線最近的樣本且平行于分類線的直線，它們之間的間隔為分類間隔，圖中的樣本點就是支持向量。該最優(yōu)面不但可將兩類樣本無誤的分開，而且還要使分類間隔最大。前者保證經(jīng)驗風(fēng)險最小，后者使問題的真實風(fēng)險最小[4]。

不同的核函數(shù)將導(dǎo)致不同的支持向量機算法，常見的核函數(shù)包括多項式內(nèi)積函數(shù)、徑向基函數(shù)、S型內(nèi)積函數(shù)等[5]。

三、基于MSVM的故障識別分類器

（一）基于MSVM的故障識別分類模型

由于SVM是二元分類器，診斷過程中，故障通常有多種類型。要對多種故障模式進行識別，必須構(gòu)造一種多元分類器才能進行這種多種模式的識別。通常通過組合多個兩類分類器的方法來實現(xiàn)多值分類器的分類，目前此類方法主要有以下幾類算法：一對一算法（one-against-one，簡稱1-v-1）、一對多算法（one -versus-rest，簡稱1-v-r）和決策導(dǎo)向無環(huán)圖算法（Decision Directed Acyclic Graph，DDAG）等幾種，可參見文獻[5，6]。通過比較分析，筆者采用一對一方法構(gòu)造多元分類器[5]，其基本思想是：對N元分類問題建立N（N-1）/2個SVM，每兩類之間訓(xùn)練一個SVM將彼此分開。這種方法優(yōu)點是單個SVM訓(xùn)練規(guī)模較小，分類器的推廣能力強。

采用多元分類器訓(xùn)練數(shù)據(jù)樣本后，在預(yù)測新樣本時，使用成對的SVM進行比較，每次產(chǎn)生一個優(yōu)勝者（即獲得一個類別），然后在優(yōu)勝者之間再次進行比較，直到最后僅剩一個優(yōu)勝者。實際上，在預(yù)測新樣本時，并不需要對每兩類之間的優(yōu)勝者再次進行競爭淘汰，只需比較兩類之間獲勝次數(shù)最多的類，即為新樣本所屬的故障類別。

（二）分類器的學(xué)習(xí)訓(xùn)練方法

本文的MSVM分類器訓(xùn)練程序采用的是LIBSVM開發(fā)函數(shù)庫，在沒有先驗知識前提下使用徑向基函數(shù)作為核函數(shù)。實驗表明，通常情況下該核函數(shù)的分類效果略優(yōu)于其他核函數(shù)。基于MSVM的故障分類識別分類器工作過程主要有學(xué)習(xí)訓(xùn)練和識別兩個階段，如圖2所示。

圖2 模分類器的工作過程

四、壓縮機故障診斷實例

在離心式壓縮機等旋轉(zhuǎn)機械中，不平衡、不對中及油膜振蕩是轉(zhuǎn)子部件幾種較常見的故障。目前人工智能方法在故障診斷領(lǐng)域已經(jīng)得到較好的應(yīng)用效果。但是，基于神經(jīng)網(wǎng)絡(luò)的診斷方法通常需要用大量的故障特征樣本對模型進行訓(xùn)練，才能得到較為可靠的識別模型。然而，在機械設(shè)備實際故障樣本的收集過程中，采集到的樣本比較有限，尤其是某些故障樣本的收集十分困難，這極大地限制了檢測模型在模式分類過程中對訓(xùn)練樣本的需求。而支持向量機在小樣本和高維特征分類方面有突出優(yōu)勢，本文以離心式壓縮機組轉(zhuǎn)子故障為例，采用上述MSVM方法建立故障診斷模型。

（一）壓縮機轉(zhuǎn)子故障診斷模型設(shè)計

以轉(zhuǎn)子不平衡、不對中及油膜振蕩三種常見故障作為示例樣本建立故障識別模型，將轉(zhuǎn)子不平衡故障作為一類，轉(zhuǎn)子不對中作為一類，油膜振蕩作為一類。由于SVM是二元分類器，對于多種故障形式識別，必須構(gòu)造一種多元分類器才能進行識別。由于本文采用一對一方法構(gòu)造多元分類器建立故障識別模型，當(dāng)需要對以上三種故障形式進行識別時，共需要構(gòu)建3個SVM分類器。用SVM1來區(qū)分轉(zhuǎn)子不平衡與不對中，SVM2識別轉(zhuǎn)子不對中與油膜振蕩，SVM3識別油膜振蕩與轉(zhuǎn)子不平衡。通過每兩類樣本分別對三個SVM分類器進行學(xué)習(xí)訓(xùn)練來尋求最優(yōu)分類函數(shù)，以達到對建立識別模型的目的，模型如圖3。

圖3 多類故障識別模型

對于部件的有更多種故障模式存在的情況下，只需獲取該部件對應(yīng)故障狀態(tài)下的特征樣本，在原有模型基礎(chǔ)上增加分類器即可，方法同上。不過對于多種故障模式下多元支持向量機模型的選擇需要在速度、模型復(fù)雜度、識別效率等方面進行綜合考慮。

（二）測試結(jié)果

為了考查模型的泛化能力，對診斷模型進行學(xué)習(xí)訓(xùn)練后，用訓(xùn)練后的分類器對45個測試樣本進行分類試驗。利用兩類之間比較獲勝次數(shù)最多的類，即為新樣本所屬的故障類別，如勝次相等，則為識別失敗。表1為各類故障的分類識別結(jié)果。除3個待測故障的識別結(jié)果不太理想外，其余故障類型的識別結(jié)果都相當(dāng)理想，本分類器的總體泛化能力為93.3%，結(jié)果令人滿意。由此可見，該模型具有較好的泛化識別能力。

表1 識別結(jié)果

（三）與神經(jīng)網(wǎng)絡(luò)方法比較

為了與神經(jīng)網(wǎng)絡(luò)方法進行比較，同樣利用故障樣本對BP神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練時發(fā)現(xiàn)，由于樣本數(shù)量較少，網(wǎng)絡(luò)訓(xùn)練陷入局部極值點，訓(xùn)練失敗。因而表明MSVM能在較少樣本情況下實現(xiàn)對分類器的學(xué)習(xí)訓(xùn)練。利用兩組樣本總和重新訓(xùn)練，在與BP神經(jīng)網(wǎng)絡(luò)同樣的樣本集均方誤差情況下，發(fā)現(xiàn)其測試集均方誤差一般比BP神經(jīng)網(wǎng)絡(luò)精度高；當(dāng)訓(xùn)練樣本集數(shù)目增加時，兩者的泛化能力都有所提高，但BP神經(jīng)網(wǎng)絡(luò)提高速度要快于支持向量機；當(dāng)樣本集變化時，MSVM的測試集均方誤差變化幅度小于BP神經(jīng)網(wǎng)絡(luò)，這些都說明了MSVM對訓(xùn)練樣本數(shù)據(jù)的依賴程度比神經(jīng)網(wǎng)絡(luò)小。

取不同的收斂閾值對神經(jīng)網(wǎng)絡(luò)分類模型進行訓(xùn)練，并將它與MSVM方法的識別結(jié)果進行對比，如表2所示。從表中可以看到，支持向量機分類器的泛化識別能力明顯優(yōu)于神經(jīng)網(wǎng)絡(luò)分類器，可能是由于神經(jīng)網(wǎng)絡(luò)方法往往陷入過學(xué)習(xí)，即所謂的經(jīng)驗風(fēng)險最小化，造成分類器推廣能力泛化差于支持向量機。

表2 MSVM方法和BP神經(jīng)網(wǎng)絡(luò)方法識別結(jié)果對比

五、結(jié)論

由于支持向量機在小樣本分類識別方面有獨特優(yōu)勢，基于此設(shè)計了多元支持向量機的壓縮機故障分類識別模型。試驗證明，利用支持向量機對壓縮機轉(zhuǎn)子故障模式進行識別的方法是可靠和有效的，即使在小樣本情況下，該方法仍可以有效地診斷出壓縮機關(guān)鍵部件的工作狀態(tài)和故障類型，解決故障診斷中少樣本情形下模型訓(xùn)練不足和識別效率低的問題。因此，支持向量機在故障診斷領(lǐng)域是一種值得推廣的方法。

參考文獻

[1] 李小彭，羅躍綱，白秉三.模糊綜合評判在機械故障診斷中的應(yīng)用[J].沈陽工業(yè)大學(xué)學(xué)報.2002，24（5）：439-442

[2] 朱君，高宇，葉鑫銳. 基于BP神經(jīng)網(wǎng)絡(luò)的螺桿泵井故障診斷方法[J].石油機械. 2008， 36（1）：42-44

[3] 趙海洋，王金東，劉樹林，等.基于神經(jīng)網(wǎng)絡(luò)和支持向量機的復(fù)合故障診斷技術(shù)[J].流體機械，2008，36（1）：39-42

[4] 張學(xué)工.關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機[J].自動化學(xué)報.2000，26（1）：32-42

篇10

【關(guān)鍵詞】股票預(yù)測 支持向量機 非線性回歸 神經(jīng)網(wǎng)絡(luò)

一、股市預(yù)測方法

股票發(fā)展至今已有300多年的歷史，現(xiàn)在已經(jīng)成為國家經(jīng)濟的“晴雨表”。在股票市場中，無論對于機構(gòu)投資者還是個人投資者來說，預(yù)測股票價格走勢一直是人們關(guān)心的問題。

（一）國內(nèi)外現(xiàn)有股票預(yù)測方法簡介

目前，從金融角度來講，對股票價格趨勢預(yù)測有兩種方法：基本面分析和技術(shù)分析。一般所講的基本面分析是指對宏觀經(jīng)濟面、公司主營業(yè)務(wù)所處行業(yè)、公司業(yè)務(wù)同行業(yè)競爭水平和公司內(nèi)部管理水平包括對管理層的考察這諸多方面的分析。這種方法有非常系統(tǒng)的理論依據(jù)，然而，我國金融市場中廣泛存在的炒作現(xiàn)象經(jīng)常使股票的價格嚴重背離其基本價值，使基本面分析在實務(wù)中被認同的程度不高。股票技術(shù)分析，是以預(yù)測市場價格變化的未來趨勢為目的，通過分析歷史圖表、技術(shù)指標(biāo)對市場價格的運動進行分析的一種方法。其目的是預(yù)測短期內(nèi)股價漲跌的趨勢。然而，國內(nèi)學(xué)者研究表明，中國股市存在非線性與混沌。股市是一個十分復(fù)雜的非線性高維動態(tài)系統(tǒng)，要對股市進行相關(guān)的預(yù)測分析是極具挑戰(zhàn)性的。然而對股市的探索研究始終在取得新的突破。現(xiàn)在一些新型的技術(shù)理論的出現(xiàn)，例如數(shù)據(jù)挖掘技術(shù)、統(tǒng)計學(xué)習(xí)理論、機器學(xué)習(xí)、人工智能、數(shù)理統(tǒng)計、信息技術(shù)等空前的發(fā)展，極大的推動了相關(guān)領(lǐng)域的應(yīng)用研究。

（二）機器學(xué)習(xí)在股票預(yù)測中的應(yīng)用

求解非線性回歸問題的方法有很多，如：局部線性模型、前饋神經(jīng)網(wǎng)絡(luò)模型、徑向基函數(shù)模型等。結(jié)合上述股票預(yù)測方法，兩種機器學(xué)習(xí)方法在實際運用中證明了其可行性。在其中神經(jīng)網(wǎng)絡(luò)模型在非線性映射中表現(xiàn)出其優(yōu)越性，被廣泛應(yīng)用于股票市場預(yù)測中。然而，在實際應(yīng)用中，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法表現(xiàn)出其不足，如隱含層數(shù)的選擇、過你核問題、局部極小值以及泛化性能不強。20世紀90年代中期發(fā)展起來的基于統(tǒng)計學(xué)習(xí)的機器學(xué)習(xí)方法――支持向量機（SVM）具有良好的泛化能力。他通過尋求結(jié)構(gòu)化風(fēng)險最小化，而非傳統(tǒng)的經(jīng)驗風(fēng)險最小化，使風(fēng)險只與輸入樣本數(shù)目有關(guān)，而與輸入的維數(shù)無關(guān)，避免了“維災(zāi)數(shù)”的問題。而且，SVM的結(jié)構(gòu)參數(shù)從樣本學(xué)習(xí)中自動確定，從而克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不易確定的缺點。SVM最初應(yīng)用于模式識別，隨著Vapnik的ε不敏感損失函數(shù)的引入，SVM已經(jīng)擴展為解決非線性回歸問題，與神經(jīng)網(wǎng)絡(luò)方法相比，有顯著的優(yōu)越性且在非線性時間預(yù)測方面取得很好的效果。

二、支持向量機理論

SVM理論是在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的。由于統(tǒng)計學(xué)習(xí)理論和SVM方法對優(yōu)先樣本情況下模式識別中的一些根本性的問題進行了系統(tǒng)的理論研究，很大程度上解決了以往的機器學(xué)習(xí)中模型的選擇與過學(xué)習(xí)問題、非線性和維數(shù)災(zāi)難問題、局部極小值問題等等。因此，SVM理論越來越受到人們的重視。SVM是針對二類分類問題提出的。

SVM回歸問題：設(shè)已知訓(xùn)練集│（x1，y1），…，（xn，yn）│，其中，x∈Z Rn，y∈│1，-1│，是類別標(biāo)記符號。i=1，2，…，n。xi是輸入數(shù)據(jù)，yi為對應(yīng)的輸出數(shù)據(jù)。樣本數(shù)集中包含樣本和噪聲。目標(biāo)是，根據(jù)對訓(xùn)練集所包含信息的學(xué)習(xí)，找到y(tǒng)對x的相關(guān)關(guān)系 y=f（x）。

回歸問題分為線性回歸和非線性回歸兩種。下面我們分別討論線性支持向量回歸和非線性支持向量回歸。

（一）線性可分

其中，λ是超參數(shù)。在實驗中針對不同訓(xùn)練值調(diào)整，表示前后兩項的權(quán)重。λ越大，δi占有的優(yōu)化權(quán)重越大。

求解過程類似線性可分，引入Lagrange函數(shù)，并將原問題轉(zhuǎn)化為對偶問題求解。

三、支持向量機預(yù)測效果及與神經(jīng)網(wǎng)絡(luò)方法的比較

（一）與神經(jīng)網(wǎng)絡(luò)相比分類識別率更高

投資者在選取股票時，最關(guān)心的則是每股收益。因此每股收益在實證分析中通常被選為分類標(biāo)準(zhǔn)。選取每股凈資產(chǎn)、股利支付率、每股股利、凈資產(chǎn)收益率、留存盈利比例、流動比率、速動比率、負債比率、長期負債比率、應(yīng)收帳款比率、存貨周轉(zhuǎn)率、銷售報酬率、凈利潤率、投資報酬率、凈值報酬率這15個影響每股收益的指標(biāo)作為輸入樣本的屬性。在張晨希等人的實證研究中，對巨靈證券數(shù)據(jù)庫產(chǎn)品3.0產(chǎn)品中的上市公司數(shù)據(jù)進行整理分析后所得到的樣本的基本情況，并利用支持向量機對樣本進行了交叉訓(xùn)練測試。用其中9組進行學(xué)習(xí)，一組用來測試，循環(huán)交叉。SVM、BP、RBF三種方法的測試結(jié)果如下：分類測試得到以下結(jié)果：分類識別率為70.068%，訓(xùn)練時間為10.642s，測試時間約為0.4095s。

從測試結(jié)果中可以得出，在訓(xùn)練時間和測試時間與BP算法差不多的情況下，通過SVM取得的分類識別率明顯高于BP和RBF。

為了進一步驗證支持向量機在分類識別率上的優(yōu)越性，試驗者將原有樣本屬性類別由四類改成三類之后再次進行測試。結(jié)果顯示：

（1）采用支持向量機進行股票預(yù)測的分類準(zhǔn)確率在將屬性類別分為四類時明顯高于BP和RBF算法。在分類為三類時，盡管BP算法也表現(xiàn)出了較高的分類識別率，但支持向量機仍要比BP高出7%。因此，相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)預(yù)測方法來說，支持向量機在預(yù)測效果上要明顯提高。

（2）對比發(fā)現(xiàn)，支持向量機的分類識別率會隨著決策屬性類別的增加而降低。然而，始終由于同等情況的神經(jīng)網(wǎng)絡(luò)方法。

（3）相比于神經(jīng)網(wǎng)絡(luò)方法，支持向量機還克服了BP固有的缺陷，例如，學(xué)習(xí)過程收斂速度慢、網(wǎng)絡(luò)性能差、局部極小值等等。

然而，該試驗的局限性在于，盡管支持向量機能夠在股票是否盈利的預(yù)測中取得良好效果，但是在預(yù)測每股收益具體數(shù)值方面非常有待提高。

（二）預(yù)測值誤差更小

在對股票預(yù)測方法的研究中中，田靜提出了一種支持向量機算法，使得輸出結(jié)果為準(zhǔn)確的輸出值，而非判斷盈利與否的簡單分類。文章對上證指數(shù)和四川長虹公司的股價進行試驗，同時，在文章中，他也用BP神經(jīng)網(wǎng)絡(luò)算法進行了同樣的預(yù)測，并將兩種方法的預(yù)測值分別與真實值進行比較，得出相對誤差進行對比。

以四川長虹的預(yù)測結(jié)果為例，ε支持向量機算法的預(yù)測值與真實值之間的誤差最大為1.28%，誤差最小為0.007%，平均相對誤差是0.00556.；BP算法的預(yù)測值與真實值之間的誤差最大為2.46%，誤差最小為0.022%。

因此，ε支持向量機方法無論對于大盤還是上市公司股價的預(yù)測都取得了比神經(jīng)網(wǎng)絡(luò)方法更優(yōu)越的預(yù)測結(jié)果。原因可能是BP神經(jīng)網(wǎng)絡(luò)方法采用的梯度下降法得到的最優(yōu)解是局部最優(yōu)而非全局最優(yōu)。

通過已有的對比研究發(fā)現(xiàn)，支持向量機方法在預(yù)測股票走勢過程中體現(xiàn)出了更高的識別率和準(zhǔn)確性。隨著科學(xué)技術(shù)的發(fā)展以及人們對于股市預(yù)測的熱情，在未來支持向量機的方法將在不斷改進和完善的過程中得到更好地發(fā)展和更廣泛的應(yīng)用。

參考文獻：

[1]徐緒松：古雜科學(xué)、資本市場、項目評價[M]。北京：科學(xué)出版社，2003.

[2]Burgers BC.A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining and Knowledge Discovery， 1998.

[3]財政部注冊會計師考試委員會辦公室。財務(wù)成本管理[M].北京：經(jīng)濟科學(xué)出版社，2003.

[4]張晨希.基于支持向量機的股票預(yù)測[J].計算機技術(shù)與發(fā)展，2006.