[科普中國(guó)]-回歸分析

在統(tǒng)計(jì)學(xué)中，回歸分析（regression analysis)指的是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法?；貧w分析按照涉及的變量的多少，分為一元回歸和多元回歸分析；按照因變量的多少，可分為簡(jiǎn)單回歸分析和多重回歸分析；按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。1

在大數(shù)據(jù)分析中，回歸分析是一種預(yù)測(cè)性的建模技術(shù)，它研究的是因變量（目標(biāo)）和自變量（預(yù)測(cè)器）之間的關(guān)系。這種技術(shù)通常用于預(yù)測(cè)分析，時(shí)間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系。例如，司機(jī)的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系，最好的研究方法就是回歸。

有各種各樣的回歸技術(shù)用于預(yù)測(cè)。這些技術(shù)主要有三個(gè)度量（自變量的個(gè)數(shù)，因變量的類型以及回歸線的形狀），如下圖。

1. Linear Regression線性回歸

它是最為人熟知的建模技術(shù)之一。線性回歸通常是人們?cè)趯W(xué)習(xí)預(yù)測(cè)模型時(shí)首選的技術(shù)之一。在這種技術(shù)中，因變量是連續(xù)的，自變量可以是連續(xù)的也可以是離散的，回歸線的性質(zhì)是線性的。

線性回歸使用最佳的擬合直線（也就是回歸線）在因變量（Y）和一個(gè)或多個(gè)自變量（X）之間建立一種關(guān)系。

多元線性回歸可表示為Y=a+b1*X +b2*X2+ e，其中a表示截距，b表示直線的斜率，e是誤差項(xiàng)。多元線性回歸可以根據(jù)給定的預(yù)測(cè)變量（s）來(lái)預(yù)測(cè)目標(biāo)變量的值。

2.Logistic Regression邏輯回歸

邏輯回歸是用來(lái)計(jì)算“事件=Success”和“事件=Failure”的概率。當(dāng)因變量的類型屬于二元（1 / 0，真/假，是/否）變量時(shí)，我們就應(yīng)該使用邏輯回歸。這里，Y的值為0或1，它可以用下方程表示。

odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

上述式子中，p表述具有某個(gè)特征的概率。你應(yīng)該會(huì)問(wèn)這樣一個(gè)問(wèn)題：“我們?yōu)槭裁匆诠街惺褂脤?duì)數(shù)log呢？”。

因?yàn)樵谶@里我們使用的是的二項(xiàng)分布（因變量），我們需要選擇一個(gè)對(duì)于這個(gè)分布最佳的連結(jié)函數(shù)。它就是Logit函數(shù)。在上述方程中，通過(guò)觀測(cè)樣本的極大似然估計(jì)值來(lái)選擇參數(shù)，而不是最小化平方和誤差（如在普通回歸使用的）。

3. Polynomial Regression多項(xiàng)式回歸

對(duì)于一個(gè)回歸方程，如果自變量的指數(shù)大于1，那么它就是多項(xiàng)式回歸方程。如下方程所示：

y=a+b*x^2

在這種回歸技術(shù)中，最佳擬合線不是直線。而是一個(gè)用于擬合數(shù)據(jù)點(diǎn)的曲線。

4. Stepwise Regression逐步回歸

在處理多個(gè)自變量時(shí)，我們可以使用這種形式的回歸。在這種技術(shù)中，自變量的選擇是在一個(gè)自動(dòng)的過(guò)程中完成的，其中包括非人為操作。

這一壯舉是通過(guò)觀察統(tǒng)計(jì)的值，如R-square，t-stats和AIC指標(biāo)，來(lái)識(shí)別重要的變量。逐步回歸通過(guò)同時(shí)添加/刪除基于指定標(biāo)準(zhǔn)的協(xié)變量來(lái)擬合模型。下面列出了一些最常用的逐步回歸方法：

標(biāo)準(zhǔn)逐步回歸法做兩件事情。即增加和刪除每個(gè)步驟所需的預(yù)測(cè)。

向前選擇法從模型中最顯著的預(yù)測(cè)開(kāi)始，然后為每一步添加變量。

向后剔除法與模型的所有預(yù)測(cè)同時(shí)開(kāi)始，然后在每一步消除最小顯著性的變量。

這種建模技術(shù)的目的是使用最少的預(yù)測(cè)變量數(shù)來(lái)最大化預(yù)測(cè)能力。這也是處理高維數(shù)據(jù)集的方法之一。2

5. Ridge Regression嶺回歸

當(dāng)數(shù)據(jù)之間存在多重共線性（自變量高度相關(guān)）時(shí)，就需要使用嶺回歸分析。在存在多重共線性時(shí)，盡管最小二乘法（OLS）測(cè)得的估計(jì)值不存在偏差，它們的方差也會(huì)很大，從而使得觀測(cè)值與真實(shí)值相差甚遠(yuǎn)。嶺回歸通過(guò)給回歸估計(jì)值添加一個(gè)偏差值，來(lái)降低標(biāo)準(zhǔn)誤差。

在線性等式中，預(yù)測(cè)誤差可以劃分為 2 個(gè)分量，一個(gè)是偏差造成的，一個(gè)是方差造成的。預(yù)測(cè)誤差可能會(huì)由這兩者或兩者中的任何一個(gè)造成。在這里，我們將討論由方差所造成的誤差。2

嶺回歸通過(guò)收縮參數(shù)λ（lambda）解決多重共線性問(wèn)題。請(qǐng)看下面的等式：

L2=argmin||y=xβ|| +λ||β||

在這個(gè)公式中，有兩個(gè)組成部分。第一個(gè)是最小二乘項(xiàng)，另一個(gè)是β-平方的λ倍，其中β是相關(guān)系數(shù)向量，與收縮參數(shù)一起添加到最小二乘項(xiàng)中以得到一個(gè)非常低的方差。

6. Lasso Regression套索回歸

它類似于嶺回歸，Lasso （Least Absolute Shrinkage and Selection Operator）也會(huì)就回歸系數(shù)向量給出懲罰值項(xiàng)。此外，它能夠減少變化程度并提高線性回歸模型的精度?？纯聪旅娴墓剑?/p>

L1=agrmin||y-xβ|| +λ||β||

Lasso 回歸與Ridge回歸有一點(diǎn)不同，它使用的懲罰函數(shù)是L1范數(shù)，而不是L2范數(shù)。這導(dǎo)致懲罰（或等于約束估計(jì)的絕對(duì)值之和）值使一些參數(shù)估計(jì)結(jié)果等于零。使用懲罰值越大，進(jìn)一步估計(jì)會(huì)使得縮小值越趨近于零。這將導(dǎo)致我們要從給定的n個(gè)變量中選擇變量。

如果預(yù)測(cè)的一組變量是高度相關(guān)的，Lasso 會(huì)選出其中一個(gè)變量并且將其它的收縮為零。

7.ElasticNet回歸

ElasticNet是Lasso和Ridge回歸技術(shù)的混合體。它使用L1來(lái)訓(xùn)練并且L2優(yōu)先作為正則化矩陣。當(dāng)有多個(gè)相關(guān)的特征時(shí)，ElasticNet是很有用的。Lasso 會(huì)隨機(jī)挑選他們其中的一個(gè)，而ElasticNet則會(huì)選擇兩個(gè)。

Lasso和Ridge之間的實(shí)際的優(yōu)點(diǎn)是，它允許ElasticNet繼承循環(huán)狀態(tài)下Ridge的一些穩(wěn)定性。

數(shù)據(jù)探索是構(gòu)建預(yù)測(cè)模型的必然組成部分。在選擇合適的模型時(shí)，比如識(shí)別變量的關(guān)系和影響時(shí)，它應(yīng)該是首選的一步。比較適合于不同模型的優(yōu)點(diǎn)，我們可以分析不同的指標(biāo)參數(shù)，如統(tǒng)計(jì)意義的參數(shù)，R-square，Adjusted R-square，AIC，BIC以及誤差項(xiàng)，另一個(gè)是Mallows’ Cp準(zhǔn)則。這個(gè)主要是通過(guò)將模型與所有可能的子模型進(jìn)行對(duì)比（或謹(jǐn)慎選擇他們），檢查在你的模型中可能出現(xiàn)的偏差。

交叉驗(yàn)證是評(píng)估預(yù)測(cè)模型最好的方法。在這里，將你的數(shù)據(jù)集分成兩份（一份做訓(xùn)練和一份做驗(yàn)證）。使用觀測(cè)值和預(yù)測(cè)值之間的一個(gè)簡(jiǎn)單均方差來(lái)衡量你的預(yù)測(cè)精度。

如果你的數(shù)據(jù)集是多個(gè)混合變量，那么你就不應(yīng)該選擇自動(dòng)模型選擇方法，因?yàn)槟銘?yīng)該不想在同一時(shí)間把所有變量放在同一個(gè)模型中。

它也將取決于你的目的?？赡軙?huì)出現(xiàn)這樣的情況，一個(gè)不太強(qiáng)大的模型與具有高度統(tǒng)計(jì)學(xué)意義的模型相比，更易于實(shí)現(xiàn)?；貧w正則化方法（Lasso，Ridge和ElasticNet）在高維和數(shù)據(jù)集變量之間多重共線性情況下運(yùn)行良好。3

在數(shù)據(jù)分析中我們一般要對(duì)數(shù)據(jù)進(jìn)行一些條件假定：

方差齊性

線性關(guān)系

效應(yīng)累加

變量無(wú)測(cè)量誤差

變量服從多元正態(tài)分布

觀察獨(dú)立

模型完整（沒(méi)有包含不該進(jìn)入的變量、也沒(méi)有漏掉應(yīng)該進(jìn)入的變量）

誤差項(xiàng)獨(dú)立且服從（0，1）正態(tài)分布。

現(xiàn)實(shí)數(shù)據(jù)常常不能完全符合上述假定。因此，統(tǒng)計(jì)學(xué)家研究出許多的回歸模型來(lái)解決線性回歸模型假定過(guò)程的約束。

回歸分析的主要內(nèi)容為：

①?gòu)囊唤M數(shù)據(jù)出發(fā)，確定某些變量之間的定量關(guān)系式，即建立數(shù)學(xué)模型并估計(jì)其中的未知參數(shù)。估計(jì)參數(shù)的常用方法是最小二乘法。

②對(duì)這些關(guān)系式的可信程度進(jìn)行檢驗(yàn)。

③在許多自變量共同影響著一個(gè)因變量的關(guān)系中，判斷哪個(gè)（或哪些）自變量的影響是顯著的，哪些自變量的影響是不顯著的，將影響顯著的自變量加入模型中，而剔除影響不顯著的變量，通常用逐步回歸、向前回歸和向后回歸等方法。

④利用所求的關(guān)系式對(duì)某一生產(chǎn)過(guò)程進(jìn)行預(yù)測(cè)或控制?；貧w分析的應(yīng)用是非常廣泛的，統(tǒng)計(jì)軟件包使各種回歸方法計(jì)算十分方便。

在回歸分析中，把變量分為兩類。一類是因變量，它們通常是實(shí)際問(wèn)題中所關(guān)心的一類指標(biāo)，通常用Y表示；而影響因變量取值的的另一類變量稱為自變量，用X來(lái)表示。

回歸分析研究的主要問(wèn)題是：

（1）確定Y與X間的定量關(guān)系表達(dá)式，這種表達(dá)式稱為回歸方程；

（2）對(duì)求得的回歸方程的可信度進(jìn)行檢驗(yàn)；

（3）判斷自變量X對(duì)因變量Y有無(wú)影響；

（4）利用所求得的回歸方程進(jìn)行預(yù)測(cè)和控制。4

相關(guān)分析研究的是現(xiàn)象之間是否相關(guān)、相關(guān)的方向和密切程度，一般不區(qū)別自變量或因變量。而回歸分析則要分析現(xiàn)象之間相關(guān)的具體形式，確定其因果關(guān)系，并用數(shù)學(xué)模型來(lái)表現(xiàn)其具體關(guān)系。比如說(shuō)，從相關(guān)分析中我們可以得知“質(zhì)量”和“用戶滿意度”變量密切相關(guān)，但是這兩個(gè)變量之間到底是哪個(gè)變量受哪個(gè)變量的影響，影響程度如何，則需要通過(guò)回歸分析方法來(lái)確定。1

一般來(lái)說(shuō)，回歸分析是通過(guò)規(guī)定因變量和自變量來(lái)確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實(shí)測(cè)數(shù)據(jù)來(lái)求解模型的各個(gè)參數(shù)，然后評(píng)價(jià)回歸模型是否能夠很好的擬合實(shí)測(cè)數(shù)據(jù)；如果能夠很好的擬合，則可以根據(jù)自變量作進(jìn)一步預(yù)測(cè)。

例如，如果要研究質(zhì)量和用戶滿意度之間的因果關(guān)系，從實(shí)踐意義上講，產(chǎn)品質(zhì)量會(huì)影響用戶的滿意情況，因此設(shè)用戶滿意度為因變量，記為Y；質(zhì)量為自變量，記為X。通常可以建立下面的線性關(guān)系： Y=A+BX+§

式中：A和B為待定參數(shù)，A為回歸直線的截距；B為回歸直線的斜率，表示X變化一個(gè)單位時(shí)，Y的平均變化情況；§為依賴于用戶滿意度的隨機(jī)誤差項(xiàng)。

對(duì)于經(jīng)驗(yàn)回歸方程： y=0.857+0.836x

回歸直線在y軸上的截距為0.857、斜率0.836，即質(zhì)量每提高一分，用戶滿意度平均上升0.836分；或者說(shuō)質(zhì)量每提高1分對(duì)用戶滿意度的貢獻(xiàn)是0.836分。

上面所示的例子是簡(jiǎn)單的一個(gè)自變量的線性回歸問(wèn)題，在數(shù)據(jù)分析的時(shí)候，也可以將此推廣到多個(gè)自變量的多元回歸，具體的回歸過(guò)程和意義請(qǐng)參考相關(guān)的統(tǒng)計(jì)學(xué)書(shū)籍。此外，在SPSS的結(jié)果輸出里，還可以匯報(bào)R2，F(xiàn)檢驗(yàn)值和T檢驗(yàn)值。R2又稱為方程的確定性系數(shù)（coefficient of determination），表示方程中變量X對(duì)Y的解釋程度。R2取值在0到1之間，越接近1，表明方程中X對(duì)Y的解釋能力越強(qiáng)。通常將R2乘以100%來(lái)表示回歸方程解釋Y變化的百分比。F檢驗(yàn)是通過(guò)方差分析表輸出的，通過(guò)顯著性水平（significance level）檢驗(yàn)回歸方程的線性關(guān)系是否顯著。一般來(lái)說(shuō)，顯著性水平在0.05以上，均有意義。當(dāng)F檢驗(yàn)通過(guò)時(shí)，意味著方程中至少有一個(gè)回歸系數(shù)是顯著的，但是并不一定所有的回歸系數(shù)都是顯著的，這樣就需要通過(guò)T檢驗(yàn)來(lái)驗(yàn)證回歸系數(shù)的顯著性。同樣地，T檢驗(yàn)可以通過(guò)顯著性水平或查表來(lái)確定。在上面所示的例子中，各參數(shù)的意義如下表所示。

線性回歸方程檢驗(yàn)

示例 SIM手機(jī)用戶滿意度與相關(guān)變量線性回歸分析

我們以SIM手機(jī)的用戶滿意度與相關(guān)變量的線性回歸分析為例，來(lái)進(jìn)一步說(shuō)明線性回歸的應(yīng)用。從實(shí)踐意義講上，手機(jī)的用戶滿意度應(yīng)該與產(chǎn)品的質(zhì)量、價(jià)格和形象有關(guān)，因此我們以“用戶滿意度”為因變量，“質(zhì)量”、“形象”和“價(jià)格”為自變量，作線性回歸分析。利用SPSS軟件的回歸分析，得到回歸方程如下：

用戶滿意度=0.008×形象+0.645×質(zhì)量+0.221×價(jià)格

對(duì)于SIM手機(jī)來(lái)說(shuō)，質(zhì)量對(duì)其用戶滿意度的貢獻(xiàn)比較大，質(zhì)量每提高1分，用戶滿意度將提高0.645分；其次是價(jià)格，用戶對(duì)價(jià)格的評(píng)價(jià)每提高1分，其滿意度將提高0.221分；而形象對(duì)產(chǎn)品用戶滿意度的貢獻(xiàn)相對(duì)較小，形象每提高1分，用戶滿意度僅提高0.008分。

方程各檢驗(yàn)指標(biāo)及含義如下：

從方程的檢驗(yàn)指標(biāo)來(lái)看，“形象”對(duì)整個(gè)回歸方程的貢獻(xiàn)不大，應(yīng)予以刪除。所以重新做“用戶滿意度”與“質(zhì)量”、“價(jià)格”的回歸方程如下： 滿意度=0.645×質(zhì)量+0.221×價(jià)格

用戶對(duì)價(jià)格的評(píng)價(jià)每提高1分，其滿意度將提高0.221分（在本示例中，因?yàn)椤靶蜗蟆睂?duì)方程幾乎沒(méi)有貢獻(xiàn)，所以得到的方程與前面的回歸方程系數(shù)差不多）。

方程各檢驗(yàn)指標(biāo)及含義如下：

明確預(yù)測(cè)的具體目標(biāo)，也就確定了因變量。如預(yù)測(cè)具體目標(biāo)是下一年度的銷售量，那么銷售量Y就是因變量。通過(guò)市場(chǎng)調(diào)查和查閱資料，尋找與預(yù)測(cè)目標(biāo)的相關(guān)影響因素，即自變量，并從中選出主要的影響因素。

依據(jù)自變量和因變量的歷史統(tǒng)計(jì)資料進(jìn)行計(jì)算，在此基礎(chǔ)上建立回歸分析方程，即回歸分析預(yù)測(cè)模型。

回歸分析是對(duì)具有因果關(guān)系的影響因素（自變量）和預(yù)測(cè)對(duì)象（因變量）所進(jìn)行的數(shù)理統(tǒng)計(jì)分析處理。只有當(dāng)自變量與因變量確實(shí)存在某種關(guān)系時(shí)，建立的回歸方程才有意義。因此，作為自變量的因素與作為因變量的預(yù)測(cè)對(duì)象是否有關(guān)，相關(guān)程度如何，以及判斷這種相關(guān)程度的把握性多大，就成為進(jìn)行回歸分析必須要解決的問(wèn)題。進(jìn)行相關(guān)分析，一般要求出相關(guān)關(guān)系，以相關(guān)系數(shù)的大小來(lái)判斷自變量和因變量的相關(guān)的程度。

回歸預(yù)測(cè)模型是否可用于實(shí)際預(yù)測(cè)，取決于對(duì)回歸預(yù)測(cè)模型的檢驗(yàn)和對(duì)預(yù)測(cè)誤差的計(jì)算。回歸方程只有通過(guò)各種檢驗(yàn)，且預(yù)測(cè)誤差較小，才能將回歸方程作為預(yù)測(cè)模型進(jìn)行預(yù)測(cè)。

利用回歸預(yù)測(cè)模型計(jì)算預(yù)測(cè)值，并對(duì)預(yù)測(cè)值進(jìn)行綜合分析，確定最后的預(yù)測(cè)值。

應(yīng)用回歸預(yù)測(cè)法時(shí)應(yīng)首先確定變量之間是否存在相關(guān)關(guān)系。如果變量之間不存在相關(guān)關(guān)系，對(duì)這些變量應(yīng)用回歸預(yù)測(cè)法就會(huì)得出錯(cuò)誤的結(jié)果。

正確應(yīng)用回歸分析預(yù)測(cè)時(shí)應(yīng)注意：

①用定性分析判斷現(xiàn)象之間的依存關(guān)系；

②避免回歸預(yù)測(cè)的任意外推；

③應(yīng)用合適的數(shù)據(jù)資料；