全文共7355字，預(yù)計(jì)閱讀時(shí)間17分鐘
作者 | 程韞韻（Emily）
編輯 | 譚舒雯（Poppy）
注：文中圖片均來源于網(wǎng)絡(luò)
前言
AI芯片可分為通用計(jì)算芯片和專用神經(jīng)網(wǎng)絡(luò)計(jì)算芯片，前者主要有CPU、GPU和FPGA。CPU領(lǐng)域主要有為PC服務(wù)器提供高性能計(jì)算的Intel和專注于移動(dòng)與嵌入式領(lǐng)域低功耗芯片的ARM；GPU領(lǐng)域的主要玩家是NVDIA和AMD，其中NVDIA在AI服務(wù)器市場占約70%的份額；FPGA領(lǐng)域主要有Xilinx和被Intel收購的Altera。
專用神經(jīng)網(wǎng)絡(luò)計(jì)算芯片ASIC根據(jù)支持的算法，可分為支持人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)加速器芯片和支持神經(jīng)動(dòng)力學(xué)的神經(jīng)形態(tài)芯片。前者玩家眾多，例如Google、GraphCore、寒武紀(jì)等，芯片性能各有千秋。神經(jīng)形態(tài)芯片根據(jù)實(shí)現(xiàn)方式可分為數(shù)字芯片、模擬芯片和新材料芯片。數(shù)字芯片主要有IBM的TrueNorth、Intel的Loihi和曼徹斯特大學(xué)的SpiNNaker；模擬芯片主要有斯坦福大學(xué)的Neurogrid、歐盟的BrainScales和蘇黎世大學(xué)的ROLLS；新材料芯片主要是由Memristor組成的陣列。截至2018年底，全球ASIC芯片在AI芯片市場的占有率超過10%，據(jù)Ovum預(yù)測，2025年這一數(shù)字將達(dá)到50%[1]。
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）算法是目前主流的AI算法，其中最具代表性的就是深度學(xué)習(xí)算法。2006年，Geoffrey Hinton將單層受限玻爾茲曼機(jī)堆棧成多層深度信念網(wǎng)絡(luò)（Deep Belief Network），并提出了無監(jiān)督逐層貪婪預(yù)訓(xùn)練算法，再結(jié)合全局有監(jiān)督BP算法進(jìn)行微調(diào)，使得七層以上神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到收斂。因此，2006年被認(rèn)為是“深度學(xué)習(xí)元年”，Hinton成為“深度學(xué)習(xí)之父”。2011年，不連續(xù)可導(dǎo)的ReLU激活函數(shù)替代了連續(xù)可導(dǎo)激活函數(shù)如Sigmoid激活函數(shù)，從而抑制了深層網(wǎng)絡(luò)訓(xùn)練梯度消失問題，讓網(wǎng)絡(luò)得以進(jìn)一步加深。2012年，Hinton的學(xué)生Alex Krizhevsky提出AlexNet，第一次使用八層的CNN網(wǎng)絡(luò)，并在當(dāng)年ImageNet圖像識(shí)別大賽中取得冠軍。接下來幾年，圖像識(shí)別大賽中算法識(shí)別率不斷提高，2015年ResNet的識(shí)別率已高于人眼識(shí)別率，達(dá)到了96.43%。隨著人工神經(jīng)網(wǎng)絡(luò)深度的逐漸增加，網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜，性能也不斷提高。在不同應(yīng)用領(lǐng)域中，深度學(xué)習(xí)算法還可以融合不同網(wǎng)絡(luò)或傳統(tǒng)算法來解決更高難度問題。
隨著深度學(xué)習(xí)算法的不斷發(fā)展，它的固有缺陷也愈發(fā)明顯。例如，曾經(jīng)效果顯著的增加網(wǎng)絡(luò)深度和寬度的方法，無法使性能再得到提升，圖像識(shí)別領(lǐng)域的誤識(shí)率也沒有明顯降低。因此，以神經(jīng)動(dòng)力學(xué)為代表的其他算法領(lǐng)域逐漸進(jìn)入研究人員的視野。神經(jīng)網(wǎng)絡(luò)的發(fā)展歷經(jīng)了第一代前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network）和第二代反向傳播（Back Propagation）神經(jīng)網(wǎng)絡(luò)，在多個(gè)領(lǐng)域?qū)崿F(xiàn)了突破，但在生物學(xué)上仍是不精確的，無法模仿生物大腦神經(jīng)元的運(yùn)作機(jī)制。神經(jīng)動(dòng)力學(xué)算法中，脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network）屬于第三代神經(jīng)網(wǎng)絡(luò)，融合了神經(jīng)元、突觸狀態(tài)，以及時(shí)間概念，從而可以實(shí)現(xiàn)更高級(jí)的生物神經(jīng)模擬水平。
從ANN到SNN
圖1 生物神經(jīng)元圖示
ANN（Artificial Neural Network,人工神經(jīng)網(wǎng)絡(luò)）是通過模仿生物神經(jīng)網(wǎng)絡(luò)的連接特征，結(jié)合優(yōu)化算法，實(shí)現(xiàn)的一種用數(shù)據(jù)訓(xùn)練的方式尋找相對最優(yōu)解的計(jì)算模型。ANN僅有限地借鑒了生物神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和非線性激活的特性，而數(shù)學(xué)性更強(qiáng)。ANN可以看作是一個(gè)由大腦的工作機(jī)理（圖1）衍生而來的多層感知器，包含一系列的基本計(jì)算單元，即神經(jīng)元和突觸。神經(jīng)元組成的各層網(wǎng)絡(luò)由突觸相連，連接方式與網(wǎng)絡(luò)拓?fù)鋵W(xué)有關(guān)。突觸后神經(jīng)元結(jié)合相應(yīng)的突觸權(quán)重（突觸效能），對從突觸前神經(jīng)元傳來的數(shù)值進(jìn)行計(jì)算，再加上一個(gè)偏置項(xiàng)，即
圖2 非線性感知器圖示
圖3 全互聯(lián)神經(jīng)網(wǎng)絡(luò)圖示
深度學(xué)習(xí)雖然具有一定的通用性，可以解決不同領(lǐng)域的問題，但離通用人工智能還相差甚遠(yuǎn)。深度學(xué)習(xí)的應(yīng)用場景必須滿足五個(gè)條件：具有豐富的數(shù)據(jù)或知識(shí)、完全信息、確定性信息、靜態(tài)或按確定性規(guī)律演化、單領(lǐng)域和單任務(wù)。一旦其中一個(gè)條件無法滿足，深度學(xué)習(xí)應(yīng)用就會(huì)受到限制。例如，自動(dòng)駕駛目前還無法實(shí)現(xiàn)廉價(jià)可靠的解決方案，因?yàn)樗粷M足完全信息、確定性信息、靜態(tài)環(huán)境或確定性規(guī)律演化，以及單領(lǐng)域的條件。因此，相比人腦，基于深度學(xué)習(xí)的AI系統(tǒng)在功耗、魯棒性、推廣能力、犯大錯(cuò)誤概率、訓(xùn)練樣本規(guī)模和可解釋性等方面都存在嚴(yán)重缺陷。
相較于ANN，SNN（Spiking Neural Network,脈沖神經(jīng)網(wǎng)絡(luò)）更接近于生物神經(jīng)網(wǎng)絡(luò)。SNN基于神經(jīng)科學(xué)已有研究，通過計(jì)算模型模擬神經(jīng)元生物層面的屬性特征，本質(zhì)上是一種仿生計(jì)算模型。SNN中脈沖電位以二進(jìn)制的形式表示，使得系統(tǒng)能夠在模擬或數(shù)字電路上可靠地運(yùn)行。大多數(shù)SNN采用頻率編碼的形式，其中神經(jīng)元間的信息傳遞用一個(gè)觀測期內(nèi)脈沖電位的平均發(fā)射速率表示。Poisson脈沖序列中雖然脈沖電位間的時(shí)間間隔是隨機(jī)的，但整體發(fā)射頻率不變。一些神經(jīng)系統(tǒng)學(xué)家認(rèn)為大腦信息應(yīng)該用時(shí)間編碼[2]，如TTFS(Time to First Spike)[3]和ISI(Inter-Spike Interval)[4]模式。TTFS模式中擁有最高膜電勢的神經(jīng)元最先發(fā)射，而ISI模式用連續(xù)脈沖的準(zhǔn)確延遲編碼激活強(qiáng)度。學(xué)界也有觀點(diǎn)認(rèn)為真實(shí)的大腦信息交流過程結(jié)合了幾種不同方式[5]。
圖4 SNN結(jié)構(gòu)圖示
從連續(xù)輸出到二進(jìn)制輸出，乍一看像是一種倒退，因?yàn)檫@樣的脈沖序列相對來說可解釋性較低。然而，脈沖序列增強(qiáng)了處理時(shí)空數(shù)據(jù)的能力?？臻g指神經(jīng)元僅與附近的神經(jīng)元相連，所以能夠分別處理輸入塊，類似于CNN的濾波器。時(shí)間指脈沖序列按時(shí)間順序發(fā)生，所以因?yàn)槎M(jìn)制編碼丟失的信息能夠在脈沖的時(shí)間信息中找回，使得時(shí)間數(shù)據(jù)能夠被自然地處理，而無需 RNN添加額外的復(fù)雜度。事實(shí)證明，相較于傳統(tǒng)人工神經(jīng)元，脈沖神經(jīng)元是更強(qiáng)大的計(jì)算單元[6]。
雖然SNN理論上比第二代網(wǎng)絡(luò)更強(qiáng)大，但它的應(yīng)用并不廣泛。實(shí)際應(yīng)用中的主要問題之一是訓(xùn)練，盡管有非監(jiān)督學(xué)習(xí)方法如Hebbian學(xué)習(xí)和STDP，但目前沒有適合SNN的有效的監(jiān)督式訓(xùn)練方法能夠提供優(yōu)于第二代網(wǎng)絡(luò)的性能。因?yàn)槊}沖序列是不可微的，用梯度下降的方法訓(xùn)練SNN會(huì)導(dǎo)致脈沖序列中精確時(shí)間信息的丟失。因此，要想在現(xiàn)實(shí)任務(wù)中運(yùn)用SNN，亟需開發(fā)有效的監(jiān)督式學(xué)習(xí)方法。這是一項(xiàng)較困難的任務(wù)，因?yàn)樯婕暗搅私馊四X的學(xué)習(xí)機(jī)制。另一個(gè)問題是因?yàn)樾枰獙Σ煌姆匠淌竭M(jìn)行模擬，所以在普通硬件上模擬SNN會(huì)耗費(fèi)大量算力。針對這一問題，目前一些神經(jīng)形態(tài)硬件能夠利用神經(jīng)脈沖行為的非連續(xù)性和稀疏性模擬神經(jīng)元。
SNN的未來仍然不夠明朗，盡管SNN是當(dāng)前神經(jīng)網(wǎng)絡(luò)的自然繼承者，但它與能夠適用于大多數(shù)任務(wù)的實(shí)用性工具還有較遠(yuǎn)的距離[7]。目前有一些SNN在實(shí)時(shí)圖像和音頻處理方面的應(yīng)用，如基于事件的計(jì)算機(jī)視覺研究。Intel公司的Python NxSDK-0.8.0 API使SNN能夠應(yīng)用在Loihi芯片上。NxNet API提供了設(shè)置神經(jīng)元和突觸參數(shù)的方法，例如衰減時(shí)間常數(shù)、尖峰脈沖值、突觸權(quán)重和脈沖閾值等，還負(fù)責(zé)將外部刺激輸入網(wǎng)絡(luò)，執(zhí)行自定義學(xué)習(xí)規(guī)則，運(yùn)行時(shí)監(jiān)測和修改網(wǎng)絡(luò)。一些基于事件的計(jì)算機(jī)視覺研究將Loihi芯片接入動(dòng)態(tài)視覺傳感器來開發(fā)神經(jīng)形態(tài)處理器[8]。針對實(shí)時(shí)推斷，Loihi能夠?qū)崿F(xiàn)比傳統(tǒng)DNN架構(gòu)低五至十倍的能耗。簡單的適應(yīng)性脈沖模型能夠?qū)崿F(xiàn)LSTM級(jí)別高達(dá)94%的準(zhǔn)確率，還有低時(shí)延和高吞吐量的優(yōu)勢，能夠滿足動(dòng)態(tài)視覺傳感器的要求。[9]
經(jīng)典神經(jīng)元模型
生物研究中，動(dòng)作電位定時(shí)的脈沖耦合神經(jīng)網(wǎng)絡(luò)被視為大腦信息處理機(jī)制的重要部分。所有關(guān)于神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)的研究都需要解決兩個(gè)主要問題：哪種模型可以描述每個(gè)神經(jīng)元的脈沖動(dòng)態(tài)，以及神經(jīng)元間是如何相連的。根據(jù)不同的抽象程度來分，比較受到關(guān)注的脈沖神經(jīng)元模型有:
Hodgkin-Huxley Model
由1963年的諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)得主Alan Hodgkin和Andrew Huxley提出的HH模型是生物學(xué)上最接近大腦的模型，其中細(xì)胞膜的脂質(zhì)雙層結(jié)構(gòu)為電容器，Na+、K+和泄漏電流的離子通道為電阻。Na+和K+離子通道的電阻會(huì)隨著時(shí)間改變，而泄漏電流離子通道的電阻為常數(shù)。由于膜兩側(cè)的離子濃度差異，每種離子有一個(gè)平衡電勢。如果膜電勢與平衡電勢相同，離子移動(dòng)造成的電流值為零。當(dāng)膜電位達(dá)到特定值，神經(jīng)元會(huì)發(fā)射一個(gè)輸出脈沖，即動(dòng)作電位。這個(gè)電位會(huì)傳遞到下游神經(jīng)元，而膜電位隨即清零。發(fā)射動(dòng)作電位之后，神經(jīng)元進(jìn)入不應(yīng)期，不會(huì)對任何輸入脈沖產(chǎn)生反應(yīng)。
HH模型可以是點(diǎn)神經(jīng)元模型，也可以成為多隔室的神經(jīng)元模型。HH模型能夠精確地重現(xiàn)神經(jīng)生理學(xué)實(shí)驗(yàn)中觀察到的數(shù)據(jù)。然而，HH模型會(huì)耗費(fèi)大量算力，即使在配置了超級(jí)電腦的藍(lán)腦計(jì)劃（Blue Brain Project）中，它的模擬速度也僅是實(shí)時(shí)的數(shù)百分之一。
Leaky Integrate-and-Fire Model
LIF模型最早由法國神經(jīng)系統(tǒng)科學(xué)家Louis Lapicque在1907年提出。LIF模型有幾種變體，最簡單、使用最廣泛的一種是基于電流的LIF模型，它有著比HH模型更高的計(jì)算效率和更低的生物準(zhǔn)確性。LIF神經(jīng)元的膜電勢計(jì)算公式為
圖5 LIF模型神經(jīng)元膜電勢的時(shí)間演化
a）
b）
圖6 a) HH模型輸入脈沖膜電勢變化
b) LIF模型中輸入脈沖膜電勢變化[11]
Izhikevich Model
由俄羅斯數(shù)學(xué)家Eugene M. Izhikeich提出的Izhikevich模型[12]，就生物準(zhǔn)確性而言接近HH模型，而從計(jì)算成本上更接近LIF模型或AdExIF模型[13]。Izhikevich模型的膜電勢計(jì)算公式為
模型的抽象程度應(yīng)取決于模擬的具體目標(biāo)，如果目標(biāo)是為神經(jīng)系統(tǒng)科學(xué)研究提供有效工具，應(yīng)該選擇生物準(zhǔn)確性更高的模型，如HH模型。如果為了研發(fā)基于SNN的信息處理算法和芯片，簡單的模型就能滿足需求，復(fù)雜模型并不會(huì)對提高算法性能有所幫助。
Mihalas-Niebur Model
Mihalas-Niebur模型使用簡單的一階微分方程來描述每種狀態(tài)量，MN模型所有的復(fù)雜性都來自脈沖產(chǎn)生后的重置規(guī)則。相較于Iz模型，MN模型有以下兩個(gè)優(yōu)點(diǎn)：其一，MN模型中所有的狀態(tài)量都有生物物理學(xué)上的解釋，讓我們能夠從模型中預(yù)測生物神經(jīng)元的行為；其二，模塊化的MN模型在狀態(tài)量之間擁有最低程度的干擾，為之后加入隨機(jī)數(shù)量的額外機(jī)理和狀態(tài)量提供了系統(tǒng)性方法。MN模型由下列三個(gè)公式描述：
圖7 不同脈沖神經(jīng)元模型抽象度與計(jì)算成本的關(guān)系[15]
引用Izhikeich的論文《Which Model to Use for Cortical Spiking Neurons?》，各模型在各維度的對比如圖7所示。
經(jīng)典訓(xùn)練算法
脈沖神經(jīng)網(wǎng)絡(luò)中可以應(yīng)用不同的學(xué)習(xí)規(guī)則，如非監(jiān)督式學(xué)習(xí)、監(jiān)督式學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、進(jìn)化算法，以及其他變體等。
非監(jiān)督式學(xué)習(xí)
Unsupervised Learning
脈沖時(shí)間相關(guān)的突觸可塑性（Spike Time Dependent Plasticity）指如果突觸前神經(jīng)元A總是在突觸后神經(jīng)元B觸發(fā)前的很短時(shí)間內(nèi)觸發(fā)，意味著B的觸發(fā)與A的觸發(fā)有關(guān)，A與B之間的突觸強(qiáng)度會(huì)增強(qiáng)；反之，如果突觸前神經(jīng)元A總是在突觸后神經(jīng)元B觸發(fā)后的很短時(shí)間內(nèi)觸發(fā)，兩神經(jīng)元間的突觸強(qiáng)度會(huì)減弱。（圖 8）
圖8 權(quán)重?W與突觸前后動(dòng)作電位相對時(shí)間?t的關(guān)系
由于赫布學(xué)習(xí)理論（Hebb’s Rule）的局部性，采用STDP機(jī)制的非監(jiān)督式學(xué)習(xí)無法支持多層網(wǎng)絡(luò)實(shí)現(xiàn)高精度，因而衍生出提升STDP訓(xùn)練網(wǎng)絡(luò)準(zhǔn)確性的方法[16]。第一種是在訓(xùn)練中加入監(jiān)督，即增強(qiáng)學(xué)習(xí)[17]；第二種是對輸入數(shù)據(jù)進(jìn)行預(yù)處理[18]；第三種是修改學(xué)習(xí)規(guī)則和各層之間的交流機(jī)制[19]。這些方法能夠改善分類任務(wù)的性能，但仍無法達(dá)到SNN訓(xùn)練的監(jiān)督式學(xué)習(xí)和ANN訓(xùn)練的反饋式學(xué)習(xí)的最新水平。
監(jiān)督式學(xué)習(xí)
Supervised Learning
Sander M. Bohte和Joost N. Kok提出的SpikeProp算法是一種類似于傳統(tǒng)誤差反向傳播的監(jiān)督式學(xué)習(xí)算法，能夠克服閾值導(dǎo)致的非連續(xù)性問題[20]。Robert Gütig和Haim Sompolinsky提出的Tempotron算法是一種生物學(xué)上合理的監(jiān)督式突觸學(xué)習(xí)算法，能夠使神經(jīng)元有效且廣泛地學(xué)習(xí)決策規(guī)則，尤其是當(dāng)信息是嵌在脈沖模式的時(shí)空結(jié)構(gòu)中而非在平均發(fā)射速率中時(shí)[21]。由Filip Ponulak提出的ReSuMe（Remote Supervised Method）算法結(jié)合了赫布理論中的學(xué)習(xí)窗口和遠(yuǎn)程監(jiān)督，其應(yīng)用領(lǐng)域從運(yùn)動(dòng)控制擴(kuò)展到對各種非靜態(tài)非線性物體的建模、識(shí)別和控制[22]。R?azvan V. Florian提出的Chronotron算法展示了神經(jīng)元如何學(xué)習(xí)產(chǎn)生特定且精確的輸出脈沖，因而能夠處理和記憶完全時(shí)間編碼的輸出和輸入信息[23]。Mohemmed A和Schliebs S提出的SPAN（Spike Pattern Association Neuron）算法能夠在監(jiān)督模式下學(xué)習(xí)任意脈沖序列之間的關(guān)聯(lián)，從而處理以脈沖的精確時(shí)間編碼的時(shí)空信息。這種算法將學(xué)習(xí)階段的脈沖序列轉(zhuǎn)換成模擬信號(hào)，以執(zhí)行常見的數(shù)學(xué)運(yùn)算。通過運(yùn)用著名的Widrow-Hoff規(guī)則，還能調(diào)整突觸權(quán)重，從而實(shí)現(xiàn)理想的神經(jīng)元輸入/輸出脈沖行為[24]。Qiang Yu和Huajin Tang提出的PSD (Precise-Spike-Driven) Synaptic Plasticity算法可以應(yīng)用于神經(jīng)元的訓(xùn)練和時(shí)空模式分類，將輸入的時(shí)空脈沖序列與理想的脈沖序列聯(lián)系起來。PSD算法在生物學(xué)上是合理的，并且能執(zhí)行高效的計(jì)算[25]。
這些算法有著不同的工作路線，一些是基于STDP進(jìn)行的監(jiān)督式學(xué)習(xí)，一些計(jì)算出網(wǎng)絡(luò)權(quán)重，還有一些算法通過模擬脈沖神經(jīng)元的行為用誤差函數(shù)進(jìn)行梯度計(jì)算。SNN的監(jiān)督式學(xué)習(xí)，梯度的反向傳播，能夠使脈沖網(wǎng)絡(luò)達(dá)到與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相同的精度。一些模型能夠很好地與硬件融合，從而實(shí)現(xiàn)低功耗和高精度的推斷。
增強(qiáng)學(xué)習(xí)
Reinforcement Learning
增強(qiáng)學(xué)習(xí)指通過與環(huán)境的互動(dòng)，基于獎(jiǎng)懲機(jī)制，選中與良好性能有關(guān)的參數(shù)，以取得最大化的預(yù)期收益。基本要素包括環(huán)境（Environment）、主體（Agent）、狀態(tài)（State）、行動(dòng)（Action）和收益（Reward）。
增強(qiáng)學(xué)習(xí)算法主要分為基于值的算法（Value-based）和基于策略的算法（Policy-based）。它的特點(diǎn)之一是試錯(cuò)學(xué)習(xí)，即一般情況下沒有直接的指導(dǎo)信息，主體需要不斷與環(huán)境交互，通過試錯(cuò)的方式獲得最佳策略。另一個(gè)特點(diǎn)是延遲回報(bào)，原因是增強(qiáng)學(xué)習(xí)的指導(dǎo)信息少，并在最后一個(gè)狀態(tài)之后才給出。與其他算法相比，增強(qiáng)學(xué)習(xí)中只有延遲反饋的收益信號(hào)而沒有監(jiān)督者，主體的行為會(huì)影響以后的所有決策。增強(qiáng)學(xué)習(xí)是一種序列學(xué)習(xí)，所有時(shí)間維度在增強(qiáng)學(xué)習(xí)中均有重要意義。它可以抽象為一個(gè)序列預(yù)測問題，序列中后一個(gè)狀態(tài)只有在前一個(gè)行動(dòng)做出后才能得到，其過程可簡單表示為
進(jìn)化算法
Evolutionary Algorithm
進(jìn)化算法一般包含基因編碼、種群初始化、交叉變異算子、經(jīng)營保留機(jī)制等基本操作。與傳統(tǒng)的基于微積分和窮舉方法的優(yōu)化算法相比，進(jìn)化算法是一種更成熟的、具有高魯棒性和廣泛適用性的全局優(yōu)化方法。其參數(shù)的優(yōu)化配置基于生物進(jìn)化原則，如突變、自然選擇。進(jìn)化算法具有自組織、自適應(yīng)和自學(xué)習(xí)的特性，能夠不受問題性質(zhì)限制，有效地處理傳統(tǒng)優(yōu)化算法難以解決的復(fù)雜問題，經(jīng)常被用于多目標(biāo)問題的優(yōu)化求解中，即進(jìn)化多目標(biāo)優(yōu)化算法（MOEA, Multi-Objective Evolutionary Algorithm）。目前相關(guān)算法已被廣泛用于參數(shù)優(yōu)化、工業(yè)調(diào)度、資源分配和復(fù)雜網(wǎng)絡(luò)分析等領(lǐng)域。
John Holland在1960年根據(jù)達(dá)爾文的進(jìn)化論提出的遺傳算法（GA, Genetic Algorithm）是一種基于自然選擇過程的元啟發(fā)式算法，他的學(xué)生David E. Goldberg在1989年對該算法進(jìn)行了拓展。Pablo Moscato于1989年首次提出文化基因算法（MA, Memetic Algorithm），用局部啟發(fā)式搜索來模擬大量專業(yè)知識(shí)支撐的變異過程，是一種基于種群的全局搜索和基于個(gè)體的局部啟發(fā)式搜索的結(jié)合體。進(jìn)化算法在多目標(biāo)優(yōu)化問題中的應(yīng)用最早由David Rosenberg于20世紀(jì)60年代初提出，直到80年代中期，多目標(biāo)優(yōu)化的進(jìn)化計(jì)算方法逐漸被廣泛關(guān)注。
與ANN訓(xùn)練算法相比，SNN訓(xùn)練算法還處于未成熟階段。為避免直接訓(xùn)練SNN，一些研究者選擇將傳統(tǒng)ANN轉(zhuǎn)化為SNN[26]，即首先運(yùn)用成熟的監(jiān)督式或非監(jiān)督式學(xué)習(xí)算法訓(xùn)練ANN，然后將其轉(zhuǎn)為SNN。另一種避免直接訓(xùn)練的方法是利用Liquid State Machine（LSM）[27]。LSM是一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，神經(jīng)元間的連接和權(quán)重隨機(jī)生成并保持不變。LSM的學(xué)習(xí)能力隨著其復(fù)雜程度增長而增長，因?yàn)長SM能夠記憶歷史信息，所以能處理擁有時(shí)間維度的輸入，如音頻和視頻。
上下滑動(dòng)查看文章參考資料：
[1]
http://news.moore.ren/industry/109738.htm AI從云端走向終端，2025年ASIC市占率將增至48%
[2]
S. Thorpe, D. Fize, and C. Marlot. 1996. Speed of processing in the human visual system. Nature 381, 6582 (1996), 520–522.
[3]
B. Rueckauer and S.-C. Liu. 2018. Conversion of analog to spiking neural networks using sparse temporal coding. In Proceedings of the 2018 IEEE International Symposium on Circuits and Systems (ISCAS’18). 1–5.
[4]
C.-H. Chien, S.-C. Liu, and A. Steimer. 2018. A neuromorphic VLSI circuit for spike-based random sampling. IEEE Transactions on Emerging Topics in Computing 6, 1 (2018), 135–144.
[5]
A. L. Fairhall, G. D. Lewen, W. Bialek, and R. R. de Ruyter van Steveninck. 2001. Efficiency and ambiguity in an adaptive neural code. Nature 412, 6849 (2001), 787–792.
[6]
https://towardsdatascience.com/spiking-neural-networks-the-next-generation-of-machine-learning-84e167f4eb2b Spiking Neural Networks, the Next Generation of Machine Learning by Devin Soni
[7]
https://towardsdatascience.com/spiking-neural-networks-the-next-generation-of-machine-learning-84e167f4eb2b Spiking Neural Networks, the Next Generation of Machine Learning by Devin Soni
[8]
Event-based attention and tracking on neuromorphic hardware by Alpha Renner, Matthew Evanusa and Yulia Sandamirskaya
[9]
Realizing the promise of spiking neuromorphic hardware by Mike Davies
[10]
P. Dayan and L.F. Abbott, Theoretical Neuroscience, MIT Press, Cambridge, MA, USA, 2001.
[11]
T. Masquelier, R. Guyonneau and S.J. Thorpe, “Spike timing dependent plasticity finds the start of repeating patterns in continuous spike trains”, PLoS One, Vol.3, No.1, doi:10.1371/journal.pone.0001377, 2008.
[12]
E.M. Izhikevich, “Which model to use for cortical spiking neurons?”, IEEE Trans. Neural Networks, Vol.15, No.5, pp.1063–1070, 2004.
[13]
R. Brette and W. Gerstner, “Adaptive exponential integrate-and-fire model as an effective description of neuronal activity”, J. Neurophysiol., Vol.94, No.5, pp.3637–3642, 2005.
[14]
Van Schaik, A., Jin, C., McEwan, A., Hamilton, T. J., Mihalas, S., & Niebur, E. (2010). A log-domain implementation of the Mihalas-Niebur neuron model. Proceedings of 2010 IEEE International Symposium on Circuits and Systems. doi:10.1109/iscas.2010.5537563
[15]
Izhikevich, E. M. (2004). Which Model to Use for Cortical Spiking Neurons? IEEE Transactions on Neural Networks, 15(5), 1063–1070. doi:10.1109/tnn.2004.832719
[16]
M. Mozafari, M. Ganjtabesh, A. Nowzari-Dalini, S. J. Thorpe, and T. Masquelier. 2018. Combining STDP and rewardmodulated STDP in deep convolutional spiking neural networks for digit recognition. arXiv:1804.00227.
[17]
R. V. Florian. 2007. Reinforcement learning through modulation of spike-timing-dependent synaptic plasticity. Neural Computation 19, 6 (2007), 1468–1502.
[18]
S. R. Kheradpisheh, M. Ganjtabesh, and T. Masquelier. 2016. Bio-inspired unsupervised learning of visual features leads to robust invariant object recognition. Neurocomputing 205 (2016), 382–392.
[19]
Y. Jin and P. Li. 2016. AP-STDP: A novel self-organizing mechanism for efficient reservoir computing. In Proceedings of the 2016 International Joint Conference on Neural Networks (IJCNN’16). 1158–1165.
[20]
https://pdfs.semanticscholar.org/931d/3dc762c8a3d903782621e339e4dbd35a6ea0.pdf?_ga=2.175711970.1507146399.1571190985-2134275171.1563777804 SpikeProp: Backpropagation for Networks of Spiking Neurons by Sander M. Bohte, Joost N. Kok and Han La Poutr’e
[21]
https://www.nature.com/articles/nn1643 The tempotron: a neuron that learns spike timing-based decisions by Robert Gütig and Haim Sompolinsky
[22]
http://d1.cie.put.poznan.pl/pracownicy/prac_15/Publikacje/ReSuMe_FP_TechRep_2005a.pdf ReSuMe-New Supervised Learning Method for Spiking Neural Networks by Filip Ponulak
[23]
https://coneural.org/florian/papers/2011_chronotron.pdf The Chronotron: A Neuron that Learns to Fire Temporally Precise Spike Patterns by R?azvan V. Florian
[24]
https://www.ncbi.nlm.nih.gov/pubmed/22830962 Span: spike pattern association neuron for learning spatio-temporal spike patterns by Mohemmed A, Schliebs S, Matsuda S and Kasabov. N
[25]
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0078318 Precise-Spike-Driven Synaptic Plasticity: Learning Hetero-Association of Spatiotemporal Spike Patterns by Qiang Yu, Huajin Tang, Kay Chen Tan and Haizhou Li
[26]
Y. Jin and P. Li. 2016. AP-STDP: A novel self-organizing mechanism for efficient reservoir computing. In Proceedings of the 2016 International Joint Conference on Neural Networks (IJCNN’16). 1158–1165.
[27]
W. Maass, T. Natschl¨ager and H. Markram, “Real-time computing without stable states: A new framework for neural computation based on perturbations”, Neural Comput., Vol.14, No.11, pp.2531–2560, 2002.
聲明：本文章發(fā)布目的在于傳遞更多信息，并不代表本公眾號(hào)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問題，請及時(shí)與我司聯(lián)系，我們將在第一時(shí)間處理！
作 者 介 紹
/程 韞 韻 Emily/
新氦類腦智能戰(zhàn)略總監(jiān)，復(fù)旦-麻省理工學(xué)院國際工商管理碩士，擁有多年跨區(qū)域、跨行業(yè)的企業(yè)戰(zhàn)略咨詢經(jīng)驗(yàn)。在類腦智能、人工智能技術(shù)及應(yīng)用落地方向有深入的行業(yè)分析和市場洞察，為政府、企業(yè)提供數(shù)智化轉(zhuǎn)型咨詢服務(wù)，為AI創(chuàng)業(yè)團(tuán)隊(duì)提供商業(yè)落地建議。主導(dǎo)撰寫AI技術(shù)白皮書，類腦芯片白皮書。
滬公網(wǎng)安備 31011002003093號(hào)