摘要作為類腦計算領(lǐng)域的一個重要研究成果，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用到計算機(jī)視覺、自然語言處理、信息檢索、語音識別、語義理解等多個領(lǐng)域，在工業(yè)界和學(xué)術(shù)界掀起了神經(jīng)網(wǎng)絡(luò)研究的浪潮，促進(jìn)了人工智能的發(fā)展．卷積神經(jīng)網(wǎng)絡(luò)直接以原始數(shù)據(jù)作為輸入，從大量訓(xùn)練數(shù)據(jù)中自動學(xué)習(xí)特征的表示．卷積神經(jīng)網(wǎng)絡(luò)具有局部連接、權(quán)值共享和池化操作等特性，可以有效降低網(wǎng)絡(luò)復(fù)雜度，減少訓(xùn)練參數(shù)的數(shù)目，使模型對平移、扭曲、縮放具有一定程度的不變性．目前，深度卷積神經(jīng)網(wǎng)絡(luò)主要是通過增加網(wǎng)絡(luò)的層數(shù)，使用更大規(guī)模的訓(xùn)練數(shù)據(jù)集，以及改進(jìn)現(xiàn)有神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)或訓(xùn)練學(xué)習(xí)算法等方法，來模擬人腦復(fù)雜的層次化認(rèn)知規(guī)律，拉近與人腦視覺系統(tǒng)的差距，使機(jī)器獲得“抽象概念”的能力．深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、目標(biāo)檢測、人臉識別、行人再識別等多個計算機(jī)視覺任務(wù)中都取得了巨大成功．該文首先回顧了卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，簡單介紹了Ｍ－Ｐ神經(jīng)元模型、Ｈｕｂｅｌ－Ｗｉｅｓｅｌ模型、神經(jīng)認(rèn)知機(jī)、用于手寫識別的ＬｅＮｅｔ以及用于ＩｍａｇｅＮｅｔ圖像分類比賽的深度卷積神經(jīng)網(wǎng)絡(luò)．然后詳細(xì)分析了深度卷積神經(jīng)網(wǎng)絡(luò)的工作原理，介紹了卷積層、采樣層、全連接層的數(shù)學(xué)表示及各自發(fā)揮的作用．接著該文重點從以下三個方面介紹卷積神經(jīng)網(wǎng)絡(luò)的代表性成果，并通過實例展示各種技術(shù)方法對圖像分類精度的提升效果．從增加網(wǎng)絡(luò)層數(shù)方面，討論并分析了ＡｌｅｘＮｅｔ、ＺＦ－Ｎｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ和ＲｅｓＮｅｔ等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；從增加數(shù)據(jù)集規(guī)模方面，介紹了人工增加標(biāo)注樣本的難點以及使用數(shù)據(jù)擴(kuò)增技術(shù)對神經(jīng)網(wǎng)絡(luò)性能提升的作用；從改進(jìn)訓(xùn)練方法方面，介紹了包括Ｌ２正則化、Ｄｒｏｐｏｕｔ、ＤｒｏｐＣｏｎｎｅｃｔ、Ｍａｘｏｕｔ等常用的正則化技術(shù)，Ｓｉｇｍｏｉｄ函數(shù)、ｔａｎｈ函數(shù)以及ＲｅＬＵ函數(shù)、ＬＲｅＬＵ函數(shù)、ＰＲｅＬＵ函數(shù)等常用的神經(jīng)元激活函數(shù)，ｓｏｆｔｍａｘ損失、ｈｉｎｇｅ損失、ｃｏｎｔｒａｓｔｉｖｅ損失、ｔｒｉｐｌｅｔ損失等不同損失函數(shù)，以及ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ技術(shù)的基本思想．針對計算機(jī)視覺領(lǐng)域，該文重點介紹了卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、目標(biāo)檢測、人臉識別、行人再識別、圖像語義分割、圖片標(biāo)題生成、圖像超分辨率、人體動作識別以及圖像檢索等方面的最新研究進(jìn)展．從人類視覺認(rèn)知機(jī)制出發(fā)，分析了視覺信息分層處理和“大范圍優(yōu)先”視覺認(rèn)知過程的相關(guān)理論成果和對當(dāng)前計算模型的一些理論啟示．最后提出了未來基于深度卷積神經(jīng)網(wǎng)絡(luò)的類腦智能研究待解決的問題與挑戰(zhàn)．

　　關(guān)鍵詞類腦智能；神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；計算機(jī)視覺；視覺認(rèn)知

　　１引言

　　讓機(jī)器以類似人腦的方式進(jìn)行快速學(xué)習(xí)與準(zhǔn)確認(rèn)知，是科學(xué)家們長期探索與追求的一大科學(xué)夢想．幾十年來，腦神經(jīng)科學(xué)和心理學(xué)等領(lǐng)域在人腦結(jié)構(gòu)及認(rèn)知機(jī)理等方面的許多研究成果都被轉(zhuǎn)化為人工智能領(lǐng)域的計算模型，極大地促進(jìn)了后者的發(fā)展與４５４計算機(jī)學(xué)報２０１９年進(jìn)步．人工神經(jīng)網(wǎng)絡(luò)正是在這種背景下被提出的．它是利用計算模型模擬大腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量的簡單運算單元，由人工方式建立起來的神經(jīng)網(wǎng)絡(luò)系統(tǒng)．人工神經(jīng)網(wǎng)絡(luò)的誕生及發(fā)展是類腦計算領(lǐng)域的一個最為重要的研究成果．

　　２卷積神經(jīng)網(wǎng)絡(luò)及其相關(guān)技術(shù)

　　卷積神經(jīng)網(wǎng)絡(luò)是由用于特征提取的卷積層和用于特征處理的亞采樣層交疊組成的多層神經(jīng)網(wǎng)絡(luò)．典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［１２］如圖２所示，網(wǎng)絡(luò)輸入是一個手寫數(shù)字圖像，輸出是其識別結(jié)果，輸入圖像經(jīng)過若干個“卷積”和“采樣”加工后，在全連接層網(wǎng)絡(luò)實現(xiàn)與輸出目標(biāo)之間的映射．通常卷積神經(jīng)網(wǎng)絡(luò)中，每一層神經(jīng)元節(jié)點只與其鄰近上下層局部感受野內(nèi)的神經(jīng)元節(jié)點連接．這種局部連接觀點與Ｈｕｂｅｌ、Ｗｉｅｓｅｌ從貓科動物的視覺系統(tǒng)中發(fā)現(xiàn)的局部感知觀點相一致．圖２中的輸入圖像的大小為３２×３２像素，含Ｒ、Ｇ、Ｂ三個通道．卷積層Ｃ１使用大小為５×５的多個卷積核對輸入圖像的各個通道做卷積濾波，采取圖像的局部特征，得到和卷積核數(shù)量相同、大小為２８×２８的特征圖．然后將這些特征圖按一定的方式組合起來，作為卷積層的輸出．圖中原特征圖經(jīng)過采樣層Ｓ２后，尺寸被縮減至１４×１４，其中特征圖上每個神經(jīng)元與上一層中對應(yīng)特征映射的２×２鄰域相連，并據(jù)此計算輸出．卷積神經(jīng)網(wǎng)絡(luò)中的卷積層中的神經(jīng)元是模擬Ｈｕｂｅｌ－Ｗｉｅｓｅｌ模型中的簡單細(xì)胞，降采樣層的神經(jīng)元模擬復(fù)雜細(xì)胞，而特征圖上的神經(jīng)元共享同一個卷積核，對應(yīng)某種特定取向的簡單細(xì)胞．進(jìn)行若干個卷積—采樣操作，可以得到尺寸很小但數(shù)量很多的特征圖．將特征圖按一定方式展開，拼接為一維向量輸入全連接層中，然后經(jīng)過若干全連接層和輸出層連接完成識別任務(wù)．

　　３卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用

　　卷積神經(jīng)網(wǎng)絡(luò)是近十幾年來類腦計算領(lǐng)域取得的一個重大研究成果，它在計算機(jī)視覺、語音識別、自然語言處理、多媒體等諸多領(lǐng)域都取得了巨大成功．在計算機(jī)視覺領(lǐng)域的各類任務(wù)中，圖像分類任務(wù)是根據(jù)圖像信息中反映的不同特征，把不同類別的目標(biāo)（如鳥、人、車、飛機(jī)等）區(qū)分開來，即給每幅圖片分配一個語義類別標(biāo)記，而目標(biāo)檢測是定位出某類目標(biāo)在圖像中出現(xiàn)的區(qū)域．與圖像分類任務(wù)要建立圖像級理解不同，圖像語義理解要得到圖像像素級別的目標(biāo)分類結(jié)果．圖片標(biāo)題生成也是建立于圖片的語義理解上，要求自動產(chǎn)生自然語言對圖片的目標(biāo)及目標(biāo)間關(guān)系進(jìn)行描述．相比于圖像分類和目標(biāo)檢測關(guān)注于多類或單類物體目標(biāo)的區(qū)分或定位，人臉識別和行人再識別任務(wù)則分別聚焦于人臉和行人的身份辨識．另外一種任務(wù)———圖像超分辨率，能夠提供更清晰的圖像以及更多的圖像細(xì)節(jié)，為高層視覺任務(wù)提供更好的輸入．

　　參考文獻(xiàn)

　　［１］ＨｕｂｅｌＤＨ，ＷｉｅｓｅｌＴＮ．Ｒｅｃｅｐｔｉｖｅｆｉｅｌｄｓ，ｂｉｎｏｃｕｌａｒｉｎｔｅｒａｃｔｉｏｎａｎｄｆｕｎｃｔｉｏｎａｌａｒｃｈｉｔｅｃｔｕｒｅｉｎｔｈｅｃａｔ’ｓｖｉｓｕａｌｃｏｒｔｅｘ．ＴｈｅＪｏｕｒｎａｌｏｆＰｈｙｓｉｏｌｏｇｙ，１９６２，１６０（１）：１０６－１５４

　　［２］ＦｕｋｕｓｈｉｍａＫ，ＭｉｙａｋｅＳ，ＩｔｏＴ．Ｎｅｏｃｏｇｎｉｔｒｏｎ：Ａｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｆｏｒａｍｅｃｈａｎｉｓｍｏｆｖｉｓｕａｌｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍｓ，Ｍａｎ，ａｎｄＣｙｂｅｒｎｅｔｉｃｓ，１９８３，１３（５）：８２６－８３４

　　［３］ＦｕｋｕｓｈｉｍａＫ．Ｎｅｏｃｏｇｎｉｔｒｏｎ：Ａｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｆｏｒａｍｅｃｈａｎｉｓｍｏｆｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎｕｎａｆｆｅｃｔｅｄｂｙｓｈｉｆｔｉｎｐｏｓｉｔｉｏｎ．ＢｉｏｏｌｏｇｉｃａｌＣｙｂｅｒｎｅｔｉｃｓ，１９８０，３６（４）：１９３－２０２

　　張順１）龔怡宏２）王進(jìn)軍２