準(zhǔn)確率達(dá) 91.74%！東南大學(xué)提出光伏電池缺陷檢測模型，首次引入神經(jīng)結(jié)構(gòu)搜索

乘著從全球吹來的「綠色發(fā)展、低碳轉(zhuǎn)型」東風(fēng)，光伏 (photovoltaic, PV) 產(chǎn)業(yè)自進(jìn)入 21 世紀(jì)以來，便以令世人驚嘆的速度迅猛向前發(fā)展。在我國，光伏發(fā)電更是呈現(xiàn)出前所未有的活力。根據(jù) 2023 年 4 月國家能源局公布的當(dāng)年 1-3 月份全國電力工業(yè)統(tǒng)計(jì)數(shù)據(jù)，截止當(dāng)年 3 月底，我國光伏累計(jì)裝機(jī)量已超越水電，成為全國第二大電源。

隨著光伏發(fā)電的規(guī)模化應(yīng)用，如何保障光伏供電穩(wěn)定以及可持續(xù)發(fā)展也成為行業(yè)研究的重要課題。光伏組件是光伏的基本單元，受生產(chǎn)鏈條較長、應(yīng)用場景復(fù)雜等多種外因影響，在其制造、運(yùn)輸、安裝等過程中都極易發(fā)生模塊破損，如果這些缺陷組件投入到實(shí)際運(yùn)行中，極大可能造成整個(gè)供電系統(tǒng)功率降低甚至出現(xiàn)安全問題。因此，針對(duì)光伏的現(xiàn)場維護(hù)和故障診斷要求正變得越來越高。

目前，較為傳統(tǒng)的 PV 缺陷檢測手段包括電流-電壓 (I-V) 曲線 (current–voltage (I–V) curve)、紅外熱成像 (IRT) 等，但囿于識(shí)別精度限制，上述方法均無法有效識(shí)別微裂紋等潛在風(fēng)險(xiǎn)因素。卷積神經(jīng)網(wǎng)絡(luò) (CNN) 憑借其強(qiáng)大的特征捕獲能力，結(jié)合基于高分辨率的電致發(fā)光 (electroluminescence, EL) 成像，正在成為 PV 缺陷檢測的主流方法。不過基于 CNN 的模型參數(shù)通常較大，且對(duì)硬件資源要求嚴(yán)格，因此很難在實(shí)際的工業(yè)項(xiàng)目中得到大規(guī)模部署。

為了同時(shí)滿足工業(yè)領(lǐng)域?qū)θ毕輽z測的精度和速度要求，來自東南大學(xué)自動(dòng)化學(xué)院的張金霞教授團(tuán)隊(duì)，提出了一種基于神經(jīng)結(jié)構(gòu)搜索 (neural architecture search, NAS) 和知識(shí)蒸餾 (Knowledge Distillation) 的新型輕量級(jí)高性能光伏電池電致發(fā)光 (EL) 圖像缺陷自動(dòng)檢測模型。

目前，該研究成果已發(fā)布在 arXiv 上，標(biāo)題為「A lightweight network for photovoltaic cell defect detection in electroluminescence images based on neural architecture search and knowledge distillation」。

研究亮點(diǎn)：

* 提出一種用于光伏電池缺陷檢測的輕量級(jí)模型，準(zhǔn)確率高達(dá) 91.74%；
* 首次將 NAS 引入到光伏電池缺陷檢測領(lǐng)域，用于自動(dòng)化輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)，減少了手工設(shè)計(jì)的工作量；
* 引入知識(shí)蒸餾充分利用了各種先驗(yàn)知識(shí) (prior knowledge)，且通過實(shí)驗(yàn)證明了該設(shè)計(jì)對(duì)提高缺陷光伏電池識(shí)別能力的有效性。

論文鏈接：
https://arxiv.org/abs/2302.07455
關(guān)注公眾號(hào)，后臺(tái)回復(fù)「光伏電池」即可下載論文

數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)
本次研究的數(shù)據(jù)集為一個(gè)公共光伏電池?cái)?shù)據(jù)集，含 2,624 張分辨率為 300 x 300 像素的光伏電池 EL 圖像，包括單晶和多晶兩種類型。研究團(tuán)隊(duì)以 0.5 為閾值，將樣本分為功能樣本和缺陷樣本，將其中 75% 的圖像，即 1,970 張圖像隨機(jī)選擇為訓(xùn)練集，剩余的 654 張圖像為測試集。訓(xùn)練集進(jìn)一步被平分為搜索訓(xùn)練集與搜索測試集。所有圖片的大小均調(diào)整為 150 x 150 像素。

數(shù)據(jù)集劃分

數(shù)據(jù)增強(qiáng)是在小幅度增加數(shù)據(jù)的情況下，從原始數(shù)據(jù)中獲得更多的表征，提升原始數(shù)據(jù)的質(zhì)量，從而幫助模型減少過擬合，并增強(qiáng)魯棒性。數(shù)據(jù)增強(qiáng)操作包括隨機(jī)水平翻轉(zhuǎn)、隨機(jī)垂直翻轉(zhuǎn)、在 (-2°，2°) 范圍內(nèi)隨機(jī)旋轉(zhuǎn)、在 {0°、90°、180°、270°} 范圍內(nèi)隨機(jī)旋轉(zhuǎn)和隨機(jī)仿射變換。

該研究提出的模型由 Normal cells 和 Reduction cells 堆疊而成，通過搜索算法得到的內(nèi)部結(jié)構(gòu)如下圖所示：

基于公共PV數(shù)據(jù)集上搜索得到的內(nèi)部結(jié)構(gòu)

一種基于 NAS 和知識(shí)蒸餾的缺陷檢測方法
該輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)架構(gòu)如下圖所示。研究人員通過 NAS 算法在設(shè)計(jì)好的搜索空間中自動(dòng)獲得了輕量級(jí)網(wǎng)絡(luò)，并通過知識(shí)蒸餾充分利用了現(xiàn)有預(yù)訓(xùn)練大規(guī)模模型獲取的先驗(yàn)知識(shí)，從而提高模型性能。

輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)架構(gòu)

首先，研究團(tuán)隊(duì)采用了基于連續(xù)梯度的 NAS 框架 DARTS 來自動(dòng)設(shè)計(jì)用于光伏電池缺陷檢測的模型，基于 DARTS 的快速搜索特性，研究人員進(jìn)一步考慮了 PV 缺陷的視覺多尺度特征，設(shè)計(jì)了合適的搜索空間來增強(qiáng)對(duì)不同缺陷尺寸的特征識(shí)別。

為輕量級(jí)缺陷分類網(wǎng)絡(luò)設(shè)計(jì)的搜索空間

輕量級(jí)網(wǎng)絡(luò)所采用的搜索空間主要由兩種單元結(jié)構(gòu)堆疊而成，即 5 個(gè) normal cell 和 4 個(gè) reduction cell。設(shè)置 normal cell 是為了保持輸入的大小，設(shè)置 reduction cell 是具有下采樣的功能。如上圖所示，每個(gè)單元融合前兩個(gè)單元尺度不同的兩個(gè)特征，第一個(gè) normal cell 將相同的特征作為兩次輸入。

輕量化網(wǎng)絡(luò)的詳細(xì)結(jié)構(gòu)

前 3 個(gè) reduction cell 執(zhí)行下采樣和信道擴(kuò)展，最后一個(gè) reduction cell 的信道數(shù)量保持不變。所提出的輕量級(jí)網(wǎng)絡(luò)將輸入的光伏電池分類為功能正?；蛴腥毕?。

其次，知識(shí)蒸餾是最有效的模型壓縮方法之一，采用 Teacher-Student 模式，能夠?qū)⒅R(shí)從 Teacher 模型轉(zhuǎn)移到 Student 模型。那些無法利用預(yù)訓(xùn)練模型中先驗(yàn)知識(shí)的網(wǎng)絡(luò)架構(gòu)，可以通過學(xué)習(xí) Teacher 網(wǎng)絡(luò)的知識(shí)來提高性能。在該實(shí)驗(yàn)中，由于輕量級(jí)網(wǎng)絡(luò)只能從頭開始訓(xùn)練，通過使用知識(shí)蒸餾，可以更好地利用先驗(yàn)知識(shí)進(jìn)行訓(xùn)練。

研究人員轉(zhuǎn)移了 4 種不同的知識(shí)先驗(yàn)——注意力信息、特征信息、logit 信息和面向任務(wù)的信息，以增強(qiáng)對(duì)光伏電池缺陷檢測任務(wù)的蒸餾效果。

知識(shí)蒸餾概覽

模型性能出眾
研究團(tuán)隊(duì)將其所提出的輕量級(jí)模型與 Teacher 模型以及其他研究進(jìn)行了比較，并在私有數(shù)據(jù)集上進(jìn)行了測試，進(jìn)一步證明該網(wǎng)絡(luò)架構(gòu)的有效性。

研究團(tuán)隊(duì)將該模型與手動(dòng)設(shè)計(jì)的 6 個(gè)神經(jīng)網(wǎng)絡(luò)和公開數(shù)據(jù)集上的 Teacher 模型，在 200 個(gè)相同的 epoch 下進(jìn)行了對(duì)比，結(jié)果如下圖所示：

準(zhǔn)確度/平衡準(zhǔn)確度/精確度/召回率/F1分值的對(duì)比

結(jié)果顯示，該研究提出的輕量級(jí)模型在測試集上的精度達(dá)到了 91.74%，甚至超過了 Teacher 模型水平的 1.22%。同時(shí)，該研究所提出的模型參數(shù)量更小，相比部分經(jīng)典大模型所用資源更少，更易部署在實(shí)際的終端設(shè)備上。

上圖為模型在識(shí)別缺陷光伏電池和功能正常的光伏電池上的準(zhǔn)確率對(duì)比，研究人員所提模型在缺陷光伏電池識(shí)別上的正確率達(dá)到 86.28%，遠(yuǎn)超其他方法。

由此得出結(jié)論，與其他手動(dòng)設(shè)計(jì)的模型相比，研究團(tuán)隊(duì)提出的模型不僅能夠通過 NAS 算法自動(dòng)搜索，減少了工作量，同時(shí)還能夠在相對(duì)輕量級(jí)的架構(gòu)下取得更高性能，證明了所提方法的有效性。

為進(jìn)一步評(píng)估所提模型的性能，研究團(tuán)隊(duì)又提供了單晶或多晶 PV 上得性能對(duì)比，如表 4 所示：

左表：相同數(shù)據(jù)增強(qiáng)條件下， ELPV 公共數(shù)據(jù)集中僅單晶光伏電池與其他方法的對(duì)比
右表：相同數(shù)據(jù)增強(qiáng)條件下， ELPV 公共數(shù)據(jù)集中僅多晶光伏電池與其他方法的對(duì)比

在單晶 PV 電池上，所提模型的每一項(xiàng)指標(biāo)都達(dá)到了最高水平，至于更難處理的多晶模型，該模型也遠(yuǎn)超其他模型。

效率和泛化能力
在終端設(shè)備上的部署需要綜合考慮模型規(guī)模和計(jì)算量，為了測試效率，研究團(tuán)隊(duì)在 CPU 平臺(tái) (Intel i9-10980XE 24.75M Cache, 3 GHz) 上對(duì)該模型進(jìn)行了評(píng)估。

CPU平臺(tái)上的效率比較

綜合評(píng)估發(fā)現(xiàn)，該模型遠(yuǎn)遠(yuǎn)優(yōu)于其他小型模型、甚至大型經(jīng)典模型。該輕量化模型可以滿足一些常見的低功耗嵌入式設(shè)備的部署需求，如 Raspberry Pi-4B (4GB, 15W, 9~10 GFLOPS) 和 NVIDLA Jetson Nano (4GB, 10W, 7.368 GEFLOPS FP64)。

為了驗(yàn)證模型在不同數(shù)據(jù)源上的泛化性能，研究團(tuán)隊(duì)在一個(gè)私有光伏電池?cái)?shù)據(jù)集上進(jìn)行了模型訓(xùn)練。從 6 x 10、6 x 12、6 x 24 三種規(guī)格的光伏電池中提取出了8,580 張像素分辨率為 256 x 256 的圖像，其中缺陷樣品 482 張，功能正常樣品 8,089 張。

結(jié)果顯示，該模型在平衡精度和缺陷樣本精度上分別比 Teacher 模型高出約 2.3% 和 5.7%。與其他方法相比差距很大。該模型對(duì)缺陷樣本的準(zhǔn)確率達(dá)到 94.26%，特別是在現(xiàn)實(shí)場景中表現(xiàn)出更好的缺陷識(shí)別能力。如下圖所示：

在相同數(shù)據(jù)增強(qiáng)下，與其他方法在私有數(shù)據(jù)集上的對(duì)比

始于百年前，光伏發(fā)電仍是綠色能源的「寵兒」
作為新能源的代表，關(guān)于光伏發(fā)電技術(shù)的研究實(shí)際上已有超百年之久。1839 年，法國物理學(xué)家貝克勒爾首次發(fā)現(xiàn)了光伏效應(yīng)，在此之后，經(jīng)過各國科學(xué)家的不斷鉆研和努力，第一塊實(shí)用光伏電池終于在 1954 年問世。如今，光伏產(chǎn)業(yè)隨著全球綠色發(fā)展的腳步又一次乘上了東風(fēng)，尤其在國內(nèi)明確提出「雙碳」目標(biāo)之后，光伏產(chǎn)業(yè)的發(fā)展可謂前途一片大好。

這從不久前國家能源局發(fā)布的 2023 年全國電力工業(yè)統(tǒng)計(jì)數(shù)據(jù)便可見微知著。數(shù)據(jù)顯示，截止 12 月底，全國累計(jì)發(fā)電裝機(jī)容量約 29.2 億千瓦，同比增長 13.9%，其中，太陽能發(fā)電裝機(jī)容量約 6.1 億千瓦，實(shí)現(xiàn)同比 55.2% 的增長。

從政策方面來看，2019 年 5 月 30 日，國家能源局發(fā)布了《關(guān)于 2019 年風(fēng)電、光伏發(fā)電項(xiàng)目建設(shè)有關(guān)事項(xiàng)的通知》，其中明確了優(yōu)先推進(jìn)無補(bǔ)貼的平價(jià)上網(wǎng)項(xiàng)目建設(shè)，再開展需要國家補(bǔ)貼項(xiàng)目的競爭配置工作。這表明了我國光伏產(chǎn)業(yè)雖然已經(jīng)進(jìn)入穩(wěn)定發(fā)展的成熟期，但推動(dòng)光伏產(chǎn)業(yè)發(fā)展也仍然會(huì)是未來國內(nèi)實(shí)現(xiàn)能源結(jié)構(gòu)轉(zhuǎn)型的重點(diǎn)工作。

2023 年，國家能源局、國家發(fā)改委等多個(gè)部門相繼印發(fā)多個(gè)關(guān)于能源工作的文件，其中都明確了光伏是 2023 年能源行業(yè)的重點(diǎn)方向。

而本次研究則從產(chǎn)業(yè)層面為光伏產(chǎn)業(yè)的發(fā)展帶來了利好消息，張金霞教授團(tuán)隊(duì)的研究成果從實(shí)際的應(yīng)用側(cè)為光伏電池缺陷檢測提供有效工具，尤其是引入了 NAS 與知識(shí)蒸餾，為應(yīng)用場景設(shè)計(jì)模型提供了一種新的思路，這或許將有望為產(chǎn)業(yè)就深度學(xué)習(xí)在光伏領(lǐng)域應(yīng)用帶來新的啟迪，從而讓技術(shù)與產(chǎn)業(yè)更好的結(jié)合。