【產學合作】前瞻性半導體運算改良

前瞻技術產學合作計畫
計畫名稱：願景計算技術與晶片
計畫主持人：國立清華大學電機系 林本堅教授
合作企業：台灣積體電路製造股份有限公司
成果介紹：

國科會前瞻技術產學合作之願景實現計畫有亮點！由清華大學張孟凡教授團隊、謝志成教授團隊、鄭桂忠教授團隊與黃朝宗教授團隊與台積電共同合作並於頂尖國際會議ISSCC發表的研究指出採用前瞻式運算可大幅改良低功耗並實現高效能，其主要亮點為下：

一、放電式運算架構記憶體內運算 ：達到世界最高能源效率-1286.4 TOPS/W (比過去ReRAM-CIM作品提高6.58倍) ，在8bit運算精度下並達到14.4奈秒的讀取速度。

二、低功耗視覺感測人工智慧晶片 ：在低電壓操作下，此晶片於250fps高速運作的功耗與目前所發表最新技術相比減少兩倍以上、iFoM則提升三倍以上。

三、裸視全3D顯示技術 ：相對於高效能的GPU，能提供20倍以上的運算效能以及10,000倍以上的能耗效率。

隨著類神經網絡的使用應用擴大，對計算資源(CPU)和儲存資源(Memory)成本的需求顯著增長。過去幾年許多研究都在尋求開發深度學習加速器，目標是有效地降低矩陣向量乘法的複雜度，使其能夠在邊緣設備中運作類神經網絡。另一新興途徑是利用記憶體內運算(Compute-in-memory; CIM)來打破內存牆(Memory wall)，減少加速器設計中的資料搬移，藉此能有效降低資料傳輸時的能量消耗和傳輸時間。

傳統的非揮發性記憶體之記憶體內運算技術多採用開啟多條字元線(wordline; WL)的方法，同時進行字元線上(Bitline; BL)的記憶體胞(Memory cell)電流累加，以達到相乘累加(Multiply-and-accumulate; MAC)的運算效果。然而，使用傳統電流累加的方式進行運算，在過程中記憶體矩陣內會出現大量的直流電(Direct current)，會消耗大量的能量且高峰電流(Peak current)會造成供電源(VDD)不穩，進而導致晶片可靠度受影響。

張孟凡教授與鄭桂忠教授團隊採用電阻式記憶體(ReRAM) 為儲存單元，並利用放電式運算架構來實現記憶體內運算，並採用時域(time domain)來讀取相乘累加的運算結果，規格達到電阻式記憶體(ReRAM)內運算(CIM)電路晶片的頂標，擁有8bit輸入/8bits權重/19bits輸出，結合32個記憶體陣列可達24 bits輸出。此作品擁有最大的ReRAM記憶體內運算晶片容量(8Mb)，可以容納各種不同的神經網路。本作品的放電式運算架構可以再減少記憶體內部的能量消耗，達到世界最高能源效率-1286.4 TOPS/W (比過去ReRAM-CIM作品提高6.58倍)，在8bit運算精度下並達到14.4奈秒的讀取速度。

圖片:量測環境以及晶片簡介

另外，在物聯網(IoT)蓬勃發展的趨勢之下，日常生活中的感測器數量日益攀升，透過感測器獲取的大量環境資訊將用來分析並進一步做出決策，而傳統的雲端運算架構不再能夠滿足實時運算的應用要求，為了提供更有效率的解決方案，謝志成教授研究團隊透過與台積電合作，開發出應用於邊緣運算的下世代低功耗視覺感測人工智慧晶片，完成人臉偵測的辨識功能，未來可嘗試於各式所需的監控場景執行安檢任務。此視覺感測人工智慧晶片將卷積運算過程盡可能靠近資料的源頭，以縮短與資料處理、分析單元間的距離，大幅減少延遲時間，並透過資料的前處理運算，降低後端所需記憶體儲存空間和頻寬的使用，在低電壓操作下，此晶片於250fps高速運作的功耗與目前所發表最新技術相比減少兩倍以上、iFoM則提升三倍以上，有別於以往將資料儲存與運算集中於雲端並整合各項作業的架構，此邊緣運算視覺感測人工智慧晶片可以實現高效率、低功耗的即時分析能力。

而隨著半導體製程的進步，可以在同樣面積的晶片下放進越多的邏輯運算；然而，若是在實際應用上沒有相對應的運算需求成長，消費者將難以感受到半導體進步的好處。黃朝宗教授研究團隊的研究方向即是探索新穎的、高複雜度的影像應用，開發其先進嵌入式運算架構與晶片，並完成晶片雛型展示平台來驗證具有未來性的影像應用。在此項研究成果中，該團隊針對人們在視覺上一直追求的夢想—裸視全3D顯示技術—開發出第一顆支援雙層分解式3D顯示器的光場處理晶片，其克服了龐大的資料存取以及運算量的限制，相對於高效能的GPU，能提供20倍以上的運算效能以及10,000倍以上的能耗效率。

此次亮點成功展示以前瞻研究之基礎，與業界產學合作計畫為研究之應用發揮「研究與應用」相輔助與加乘之效果。國科會-清大-台積電三方前瞻技術產學合作計畫執行至第三年，共同培育碩博士研發人才242位，並且發表SCI/SSCI論文件數共42篇。透過國科會產學合作計畫，臺灣半導體業的實力可望快速達到一個新的門檻。