[科普中國]-激活函數(shù)

所謂激活函數(shù)（Activation Function），就是在人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元上運(yùn)行的函數(shù)，負(fù)責(zé)將神經(jīng)元的輸入映射到輸出端。

什么是激活函數(shù)激活函數(shù)（Activation functions）對于人工神經(jīng)網(wǎng)絡(luò)1模型去學(xué)習(xí)、理解非常復(fù)雜和非線性的函數(shù)來說具有十分重要的作用。它們將非線性特性引入到我們的網(wǎng)絡(luò)中。如圖1，在神經(jīng)元中，輸入的 inputs 通過加權(quán)，求和后，還被作用了一個(gè)函數(shù)，這個(gè)函數(shù)就是激活函數(shù)。引入激活函數(shù)是為了增加神經(jīng)網(wǎng)絡(luò)模型的非線性。沒有激活函數(shù)的每層都相當(dāng)于矩陣相乘。就算你疊加了若干層之后，無非還是個(gè)矩陣相乘罷了。

為什么要用激活函數(shù)如果不用激勵(lì)函數(shù)，每一層輸出都是上層輸入的線性函數(shù)，無論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是輸入的線性組合，這種情況就是最原始的感知機(jī)（Perceptron）。

如果使用的話，激活函數(shù)給神經(jīng)元引入了非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以任意逼近任何非線性函數(shù)，這樣神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用到眾多的非線性模型中。

常用的激活函數(shù)Sigmoid函數(shù)Sigmoid函數(shù)是一個(gè)在生物學(xué)中常見的S型函數(shù)，也稱為S型生長曲線。在信息科學(xué)中，由于其單增以及反函數(shù)單增等性質(zhì)，Sigmoid函數(shù)常被用作神經(jīng)網(wǎng)絡(luò)的閾值函數(shù)，將變量映射到0,1之間2。公式如下

函數(shù)圖像如下

Tanh函數(shù)Tanh是雙曲函數(shù)中的一個(gè)，Tanh()為雙曲正切。在數(shù)學(xué)中，雙曲正切“Tanh”是由基本雙曲函數(shù)雙曲正弦和雙曲余弦推導(dǎo)而來。公式如下

函數(shù)圖像如下

ReLU函數(shù)Relu激活函數(shù)（The Rectified Linear Unit），用于隱層神經(jīng)元輸出。公式如下

函數(shù)圖像如下

本詞條內(nèi)容貢獻(xiàn)者為:

王沛 - 副教授、副研究員 - 中國科學(xué)院工程熱物理研究所