久久精品免费观看_欧美日韩精品电影_91看片一区_日日夜夜天天综合

在此，來自美國賓夕法尼亞州立大學的Amritanand Sebastian & Saptarshi Das等研究者，介紹了基于二維材料的三端記憶晶體管，它可以模擬概率突觸和可重構神經(jīng)元。相關論文以題為“Two-dimensional materials-based probabilistic synapses and reconfigurable neurons for measuring inference uncertainty using Bayesian neural networks”發(fā)表在Nature Communications上。

近年來，由于人工神經(jīng)網(wǎng)絡(ANNs)的發(fā)展，機器學習取得了前所未有的發(fā)展和成功。通過模仿生物神經(jīng)結構并采用深度學習算法，人工神經(jīng)網(wǎng)絡在圖像分類、面部識別、數(shù)據(jù)挖掘、天氣預報和股票市場預測等任務中顯示出了明顯優(yōu)于標準計算方法的優(yōu)勢。雖然人工神經(jīng)網(wǎng)絡具有較高的性能，特別是在預測精度方面，但由于它們沒有對不確定性建模，因此缺乏泛化性，常常會出現(xiàn)過擬合的問題。為了減少人工神經(jīng)網(wǎng)絡中的過擬合，經(jīng)常需要使用大型數(shù)據(jù)集和各種正則化技術。然而，這可能會限制人工神經(jīng)網(wǎng)絡在數(shù)據(jù)稀缺的應用程序中的使用。此外，不確定性估計在自動駕駛和醫(yī)療診斷等應用中也很重要，在這些應用中，機器學習必須輔以不確定性感知模型或人為干預。概率計算范式與神經(jīng)網(wǎng)絡的集成允許正則化，并使人們能夠在預測中建模不確定性。這是在貝葉斯神經(jīng)網(wǎng)絡(BNNs)中通過將貝葉斯定理引入傳統(tǒng)神經(jīng)網(wǎng)絡方案來實現(xiàn)的。BNNs能夠對不確定性建模并避免過擬合，同時能很好地處理小數(shù)據(jù)集。事實上，BNNs是非常強大的，因為它們代表了一個集合模型，這相當于許多ANNs的組合，但參數(shù)很少。與神經(jīng)網(wǎng)絡中突觸權值為點估計(單值)不同，在神經(jīng)網(wǎng)絡中，權值(W)由概率分布表示，如圖1所示。

圖1 人工神經(jīng)網(wǎng)絡(ANN)與貝葉斯神經(jīng)網(wǎng)絡(BNN)的比較。

多年來，人們見證了神經(jīng)網(wǎng)絡加速器的發(fā)展，旨在提高神經(jīng)網(wǎng)絡的大小、能耗和速度，特別是在邊緣計算應用方面。由于神經(jīng)網(wǎng)絡的訓練過程是能量和資源密集型的，這些工作通常依賴于片外訓練和片上推理。因此，BNN加速器也主要專注于在芯片上實現(xiàn)貝葉斯推理。BNN加速器的一個關鍵組件是一個基于片上高斯隨機數(shù)生成器(GRNG)的突觸，它可以從高斯分布中取樣權重。此外，BNN需要一個電路來實現(xiàn)一個神經(jīng)元，即執(zhí)行乘法和累積(MAC)操作和神經(jīng)激活。基于Si互補金屬氧化物半導體(CMOS)和現(xiàn)場可編程門陣列(FPGA)的BNN實現(xiàn)通常需要復雜的硬件來實現(xiàn)GRNGs、MAC操作和激活功能，導致它們的面積和能源效率低下。此外，這些演示基于von-Neumann體系結構，具有獨立的內存和邏輯單元，需要在兩者之間頻繁地傳輸數(shù)據(jù)。基于新興和非馮·諾依曼憶性和自旋電子突觸的BNN加速器利用周期到周期的轉換變異性來生成高斯隨機數(shù)(GRNs)。然而，這些基于GRNG的突觸的平均值(μ)為0，標準差(σ)為1，需要大量基于CMOS的外圍電路來獲得不受限制的μ和σ值。例如，使用乘法和加法操作將N(0,1)轉換為N(μ，σ) = σ * N(0,1)+μ。最后，雙端憶阻也缺乏模擬神經(jīng)元激活功能的能力。因此，BNNS的能量和面積效率加速將受益于一個獨立的硬件平臺，它可以提供神經(jīng)突觸功能和可編程的隨機性。

在此，研究者介紹了基于二維(2D)單層MoS2和WSe2的三端記憶晶體管技術，提供了BNN加速器所需的所有計算基元。首先，研究者通過利用MoS2 記憶晶體管中編程/擦除操作的周期到周期的可變性，實現(xiàn)了一個超低功耗的基于GRNG的突觸。接下來，利用由兩個記憶晶體管組成的電路，研究者實現(xiàn)了可重構的μ和σ。利用n型MoS2和v摻雜p型WSe2 記憶晶體管的集成，還實現(xiàn)了雙曲正切(tanh)和sigmoid等激活函數(shù)。最后，為了實現(xiàn)片上BNN推理，研究者演示了一個交叉棒陣列架構。此外，使用LTSpice模擬整個網(wǎng)絡，并執(zhí)行不確定性分解以識別不確定性的各種來源。

圖2 可編程記憶晶體管。

圖3 使用MoS2 記憶晶體管的高斯隨機數(shù)發(fā)生器(GRNG)。

圖4 基于GRNG的突觸和修飾的tanh激活功能。

圖5 交叉棒陣列架構實現(xiàn)BNN。

這項工作展示了BNN加速器所需的計算基元的發(fā)展，使用二維記憶晶體管。MoS2 記憶晶體管編程中的周期到周期的變化被利用為隨機性的來源，由兩個這樣的記憶晶體管組成的電路被用于獲得超低功耗和隨機突觸，它允許從具有可重構均值和標準差的高斯分布中采樣正負權。研究者還開發(fā)了基于MoS2和WSe2 記憶晶體管集成的改進雙曲正切和sigmoid激活函數(shù)的電路。此外，研究者將這些組件集成到一個交叉棒陣列架構中，以執(zhí)行高效的MAC操作，研究者開發(fā)了一個BNN電路來執(zhí)行片上推理，對PIMA Indians數(shù)據(jù)集進行分類，并通過電路模擬評估其性能。最后，研究者還進行了不確定性分解，以識別不確定性的各種來源。