[科普中國]-VC理論

萬普尼克-澤范蘭杰斯理論（英語：Vapnik–Chervonenkis theory），又稱VC理論（VC theory）是一個于1960年代到1990年代由弗拉基米爾·萬普尼克（Vapnik）及亞歷克塞·澤范蘭杰斯建立的一套機(jī)器學(xué)習(xí)理論。

簡介萬普尼克-澤范蘭杰斯理論（英語：Vapnik–Chervonenkis theory），又稱VC理論（VC theory）是一個于1960年代到1990年代由弗拉基米爾·萬普尼克（Vapnik）及亞歷克塞·澤范蘭杰斯建立的一套機(jī)器學(xué)習(xí)理論，使用統(tǒng)計的方法，因此有別于歸納學(xué)習(xí)等其它機(jī)器學(xué)習(xí)方法。1

由這套理論所引出的支持向量機(jī)對機(jī)器學(xué)習(xí)的理論界以及各個應(yīng)用領(lǐng)域都有極大的貢獻(xiàn)。

主要內(nèi)容損失函數(shù)在最優(yōu)化，統(tǒng)計學(xué)，計量經(jīng)濟(jì)學(xué)，決策論，機(jī)器學(xué)習(xí)和計算神經(jīng)科學(xué)的領(lǐng)域中，損失函數(shù)或成本函數(shù)是指一種將一個事件（在一個樣本空間中的一個元素）映射到一個表達(dá)與其事件相關(guān)的經(jīng)濟(jì)成本或機(jī)會成本的實數(shù)上的一種函數(shù)，借此直觀表示的一些"成本"與事件的關(guān)聯(lián)。一個最佳化問題的目標(biāo)是將損失函數(shù)最小化。一個目標(biāo)函數(shù)通常為一個損失函數(shù)的本身或者為其負(fù)值。當(dāng)一個目標(biāo)函數(shù)為損失函數(shù)的負(fù)值時，目標(biāo)函數(shù)的值尋求最大化。

在統(tǒng)計學(xué)中，損失函數(shù)的作用是估計參數(shù)。

支持向量機(jī)在機(jī)器學(xué)習(xí)中，支持向量機(jī)（英語：support vector machine，常簡稱為SVM，又名支持向量網(wǎng)絡(luò)）是在分類與回歸分析中分析數(shù)據(jù)的監(jiān)督式學(xué)習(xí)模型與相關(guān)的學(xué)習(xí)算法。給定一組訓(xùn)練實例，每個訓(xùn)練實例被標(biāo)記為屬于兩個類別中的一個或另一個，SVM訓(xùn)練算法創(chuàng)建一個將新的實例分配給兩個類別之一的模型，使其成為非概率二元線性分類器。SVM模型是將實例表示為空間中的點(diǎn)，這樣映射就使得單獨(dú)類別的實例被盡可能寬的明顯的間隔分開。然后，將新的實例映射到同一空間，并基于它們落在間隔的哪一側(cè)來預(yù)測所屬類別。

除了進(jìn)行線性分類之外，SVM還可以使用所謂的核技巧有效地進(jìn)行非線性分類，將其輸入隱式映射到高維特征空間中。

當(dāng)數(shù)據(jù)未被標(biāo)記時，不能進(jìn)行監(jiān)督式學(xué)習(xí)，需要用非監(jiān)督式學(xué)習(xí)，它會嘗試找出數(shù)據(jù)到簇的自然聚類，并將新數(shù)據(jù)映射到這些已形成的簇。將支持向量機(jī)改進(jìn)的聚類算法被稱為支持向量聚類，當(dāng)數(shù)據(jù)未被標(biāo)記或者僅一些數(shù)據(jù)被標(biāo)記時，支持向量聚類經(jīng)常在工業(yè)應(yīng)用中用作分類步驟的預(yù)處理。

條件隨機(jī)場條件隨機(jī)場（conditional random field，簡稱 CRF），是一種鑒別式機(jī)率模型，是隨機(jī)場的一種，常用于標(biāo)注或分析序列資料，如自然語言文字或是生物序列。

如同馬爾可夫隨機(jī)場，條件隨機(jī)場為無向性之圖模型，圖中的頂點(diǎn)代表隨機(jī)變量，頂點(diǎn)間的連線代表隨機(jī)變量間的相依關(guān)系，在條件隨機(jī)場當(dāng)中，隨機(jī)變量Y 的分布為條件機(jī)率，給定的觀察值則為隨機(jī)變量 X。原則上，條件隨機(jī)場的圖模型布局是可以任意給定的，一般常用的布局是鏈接式的架構(gòu)，鏈接式架構(gòu)不論在訓(xùn)練（training）、推論（inference）、或是解碼（decoding）上，都存在有效率的算法可供演算。

條件隨機(jī)場跟隱馬爾可夫模型常被一起提及，條件隨機(jī)場對于輸入和輸出的機(jī)率分布，沒有如隱馬爾可夫模型那般強(qiáng)烈的假設(shè)存在。 線性鏈條件隨機(jī)場應(yīng)用于標(biāo)注問題是由Lafferty等人與2001年提出的。

相關(guān)期望風(fēng)險，經(jīng)驗風(fēng)險，結(jié)構(gòu)風(fēng)險

VC維

本詞條內(nèi)容貢獻(xiàn)者為:

尹維龍 - 副教授 - 哈爾濱工業(yè)大學(xué)