萬普尼克-澤范蘭杰斯理論(英語:Vapnik–Chervonenkis theory),又稱VC理論(VC theory)是一個于1960年代到1990年代由弗拉基米爾·萬普尼克(Vapnik)及亞歷克塞·澤范蘭杰斯建立的一套機(jī)器學(xué)習(xí)理論。
簡介萬普尼克-澤范蘭杰斯理論(英語:Vapnik–Chervonenkis theory),又稱VC理論(VC theory)是一個于1960年代到1990年代由弗拉基米爾·萬普尼克(Vapnik)及亞歷克塞·澤范蘭杰斯建立的一套機(jī)器學(xué)習(xí)理論,使用統(tǒng)計的方法,因此有別于歸納學(xué)習(xí)等其它機(jī)器學(xué)習(xí)方法。1
由這套理論所引出的支持向量機(jī)對機(jī)器學(xué)習(xí)的理論界以及各個應(yīng)用領(lǐng)域都有極大的貢獻(xiàn)。
主要內(nèi)容損失函數(shù)在最優(yōu)化,統(tǒng)計學(xué),計量經(jīng)濟(jì)學(xué),決策論,機(jī)器學(xué)習(xí)和計算神經(jīng)科學(xué)的領(lǐng)域中,損失函數(shù)或成本函數(shù)是指一種將一個事件(在一個樣本空間中的一個元素)映射到一個表達(dá)與其事件相關(guān)的經(jīng)濟(jì)成本或機(jī)會成本的實數(shù)上的一種函數(shù),借此直觀表示的一些"成本"與事件的關(guān)聯(lián)。一個最佳化問題的目標(biāo)是將損失函數(shù)最小化。一個目標(biāo)函數(shù)通常為一個損失函數(shù)的本身或者為其負(fù)值。當(dāng)一個目標(biāo)函數(shù)為損失函數(shù)的負(fù)值時,目標(biāo)函數(shù)的值尋求最大化。
在統(tǒng)計學(xué)中,損失函數(shù)的作用是估計參數(shù)。
支持向量機(jī)在機(jī)器學(xué)習(xí)中,支持向量機(jī)(英語:support vector machine,常簡稱為SVM,又名支持向量網(wǎng)絡(luò))是在分類與回歸分析中分析數(shù)據(jù)的監(jiān)督式學(xué)習(xí)模型與相關(guān)的學(xué)習(xí)算法。給定一組訓(xùn)練實例,每個訓(xùn)練實例被標(biāo)記為屬于兩個類別中的一個或另一個,SVM訓(xùn)練算法創(chuàng)建一個將新的實例分配給兩個類別之一的模型,使其成為非概率二元線性分類器。SVM模型是將實例表示為空間中的點(diǎn),這樣映射就使得單獨(dú)類別的實例被盡可能寬的明顯的間隔分開。然后,將新的實例映射到同一空間,并基于它們落在間隔的哪一側(cè)來預(yù)測所屬類別。
除了進(jìn)行線性分類之外,SVM還可以使用所謂的核技巧有效地進(jìn)行非線性分類,將其輸入隱式映射到高維特征空間中。
當(dāng)數(shù)據(jù)未被標(biāo)記時,不能進(jìn)行監(jiān)督式學(xué)習(xí),需要用非監(jiān)督式學(xué)習(xí),它會嘗試找出數(shù)據(jù)到簇的自然聚類,并將新數(shù)據(jù)映射到這些已形成的簇。將支持向量機(jī)改進(jìn)的聚類算法被稱為支持向量聚類,當(dāng)數(shù)據(jù)未被標(biāo)記或者僅一些數(shù)據(jù)被標(biāo)記時,支持向量聚類經(jīng)常在工業(yè)應(yīng)用中用作分類步驟的預(yù)處理。
條件隨機(jī)場條件隨機(jī)場(conditional random field,簡稱 CRF),是一種鑒別式機(jī)率模型,是隨機(jī)場的一種,常用于標(biāo)注或分析序列資料,如自然語言文字或是生物序列。
如同馬爾可夫隨機(jī)場,條件隨機(jī)場為無向性之圖模型,圖中的頂點(diǎn)代表隨機(jī)變量,頂點(diǎn)間的連線代表隨機(jī)變量間的相依關(guān)系,在條件隨機(jī)場當(dāng)中,隨機(jī)變量Y 的分布為條件機(jī)率,給定的觀察值則為隨機(jī)變量 X。原則上,條件隨機(jī)場的圖模型布局是可以任意給定的,一般常用的布局是鏈接式的架構(gòu),鏈接式架構(gòu)不論在訓(xùn)練(training)、推論(inference)、或是解碼(decoding)上,都存在有效率的算法可供演算。
條件隨機(jī)場跟隱馬爾可夫模型常被一起提及,條件隨機(jī)場對于輸入和輸出的機(jī)率分布,沒有如隱馬爾可夫模型那般強(qiáng)烈的假設(shè)存在。 線性鏈條件隨機(jī)場應(yīng)用于標(biāo)注問題是由Lafferty等人與2001年提出的。
相關(guān)期望風(fēng)險,經(jīng)驗風(fēng)險,結(jié)構(gòu)風(fēng)險
VC維
本詞條內(nèi)容貢獻(xiàn)者為:
尹維龍 - 副教授 - 哈爾濱工業(yè)大學(xué)