[科普中國(guó)]-最優(yōu)解

簡(jiǎn)介

數(shù)學(xué)規(guī)劃的基本概念之一。指在數(shù)學(xué)規(guī)劃問(wèn)題中，使目標(biāo)函數(shù)取最小值（對(duì)極大化問(wèn)題取最大值）的可行解。使目標(biāo)函數(shù)取最小值的可行解稱(chēng)為極小解，使其取最大值的可行解稱(chēng)為極大解。極小解或極大解均稱(chēng)為最優(yōu)解。相應(yīng)地，目標(biāo)函數(shù)的最小值或最大值稱(chēng)為最優(yōu)值。有時(shí)，也將最優(yōu)解和最優(yōu)值一起稱(chēng)為相應(yīng)數(shù)學(xué)規(guī)劃問(wèn)題的最優(yōu)解。

線性規(guī)劃的最優(yōu)解不一定只有一個(gè)，若其有多個(gè)最優(yōu)解，則所有最優(yōu)解所構(gòu)成的集合稱(chēng)為該線性規(guī)劃的最優(yōu)解域。

例如:已知變量x，y滿足約束條件：

1、y≤3;

2、x+y≥1;

3、x-y≤1，

則z=2x-y的最優(yōu)解為（4，3）或（-2，3）；1

定理設(shè)D = 非空， 則它的極點(diǎn)集非空且包含有限多個(gè)點(diǎn) 而且D 的極方向集非空當(dāng)且僅當(dāng)D 無(wú)界。若D 無(wú)界， 則它的極方向集包含有限個(gè)向量 此外， x ∈D 當(dāng)且僅當(dāng)x 可以表示為 的凸組合與的非負(fù)線性組合之和， 即

其中，，；，

設(shè)（SL P）有最優(yōu)解， 則必存在基最優(yōu)解（最優(yōu)極點(diǎn)） ， 記（SL P）的最優(yōu)極點(diǎn)集為另外， 由(1) 式不難看出，（SL P）有最優(yōu)解當(dāng)且僅當(dāng)對(duì)于所有的極方向有。

設(shè) 為（SL P） 的最優(yōu)解， 若D 的某極方向 滿足 （即與c正交） ， 則易見(jiàn)， 對(duì)于任意的， 都是最優(yōu)解。 我們稱(chēng)滿足的極方向?yàn)樽顑?yōu)極方向。 記（SL P）的最優(yōu)極方向集為。2

判定方法最小二乘法估計(jì)最小二乘法估計(jì)是建立在模型服從高斯分布的假設(shè)之上。當(dāng)從模型總體隨機(jī)抽取M組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)值應(yīng)該使得模型能最好地?cái)M合樣本數(shù)據(jù)，也就是估計(jì)值和觀測(cè)值之差的平方和最小。而對(duì)于最大似然估計(jì)，當(dāng)從模型總體隨機(jī)抽取M組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)值應(yīng)該使得從模型中抽取該M組樣本觀測(cè)值的概率最大。

最大似然估計(jì)最大似然估計(jì)代表了頻率派的觀點(diǎn)：參數(shù)雖然未知但是客觀存在的，當(dāng)參數(shù)求出來(lái)后，x，y也就知道了。

假設(shè)我們觀察的變量是x，觀察的變量取值（樣本）為，要估計(jì)的模型參數(shù)是θ，x的分布函數(shù)是。那么最大似然函數(shù)就是θ的一個(gè)估計(jì)值，它使得事件發(fā)生的可能性最大：

通常認(rèn)為x是獨(dú)立同分布的：

所以最大似然估計(jì)的一般求解流程就是：

最大似然估計(jì)中，參數(shù)θ是一個(gè)固定的值，只要能夠擬合樣本數(shù)據(jù)就可以了。但是當(dāng)樣本過(guò)少的時(shí)候就容易出現(xiàn)過(guò)擬合現(xiàn)象，會(huì)得到諸如只要沒(méi)見(jiàn)過(guò)飛機(jī)相撞，飛機(jī)就一定不會(huì)相撞的扭曲事實(shí)。

貝葉斯估計(jì)貝葉斯派將參數(shù)θ作為隨機(jī)變量，服從某一分布。正因?yàn)閰?shù)是不固定的，對(duì)于給定的x無(wú)法用確定的y來(lái)表示，而是用概率的方式來(lái)表達(dá)。

我們希望求出觀察到樣本x的情況下，θ的分布情況。根據(jù)貝葉斯定理可得：

上面的后驗(yàn)概率通常是很難計(jì)算的，因?yàn)橐獙?duì)所有的參數(shù)進(jìn)行積分，而且，這個(gè)積分其實(shí)就是所有θ的后驗(yàn)概率的匯總，其實(shí)它是與最優(yōu)θ是無(wú)關(guān)的，而我們只關(guān)心最優(yōu)θ（相同）。在這種情況下，我們采用了一種近似的方法求后驗(yàn)概率，這就是最大后驗(yàn)估計(jì)：

最大后驗(yàn)估計(jì)相比最大似然估計(jì)，只是多了一項(xiàng)先驗(yàn)概率，它正好體現(xiàn)了貝葉斯認(rèn)為參數(shù)也是隨機(jī)變量的觀點(diǎn)，在實(shí)際運(yùn)算中通常通過(guò)超參數(shù)給出先驗(yàn)分布。最大似然估計(jì)其實(shí)是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的一個(gè)例子，而最大后驗(yàn)估計(jì)是結(jié)構(gòu)風(fēng)險(xiǎn)最小化的一個(gè)例子。如果樣本數(shù)據(jù)足夠大，最大后驗(yàn)概率和最大似然估計(jì)趨向于一致，如果樣本數(shù)據(jù)為0，最大后驗(yàn)就僅由先驗(yàn)概率決定。盡管最大后驗(yàn)估計(jì)看著要比最大似然估計(jì)完善，但是由于最大似然估計(jì)簡(jiǎn)單，很多方法還是使用最大似然估計(jì)。2