Page 35 - 實現系統級效能、功耗與面積的3D-IC小晶片設計

INNOVATIONS
Cerebras共同創辦人暨首席 硬體架構師Sean Lie表示，為了使 其晶片外記憶體表現得像在晶片上 一樣，該公司對MemoryX進行最 佳化，透過消除延遲產生之影響的 方式，將參數和權重資料以串流形 式傳輸至處理器。
們可以為每種類型記憶體和每種 類型的運算，設計量身打造的解 決 方 案。」
體的使用相對頻率較低，這可用 來避免延遲和性能瓶頸。粗粒度 (coarse-grained)流水線也避免 了資料層之間的依賴，每一層的權 重會在前一層完成之前開始串流。
「我們將記憶體與運算分開， 從基礎上將它們分解;」他表示: 「這能使通訊變得簡潔直接。我 們可以這麼做的理由，是神經網 路會根據模型的不同組成部份、 以不同方式使用記憶體，因此我
Lie指出，因為那些模型組成 部份被分解，所以「簡化了縮放問 題。」在訓練期間，對延遲敏感的 激發記憶體必須被立即存取，因 此Cerebras會保持晶片上記憶體 的激發。
同時，細粒度流水線避免了一 代代訓練之間的依賴;後向傳遞的 權重更新被同一層的後續前向傳遞 所覆蓋。Lie表示:「透過利用這些 流水線技術，權重串流執行模型可 以隱藏外部權重引起的額外延遲， 並且可以達到如同權重在晶圓片 上被本地存取時的相同性能。」
FPGA已然成為一種策略性技術， 它被視為「窮人的ASIC」，且能夠 為少量應用提供客製化IC;而當 它仍然在許多系統中以這種方式 被應用的同時，在以下兩個量很 大、高成長的應用中，也變得更具 策略上的重要性:
大量利用FPGA的資料中心， 能提供處理器所無法實現的平行 可程式化能力(有一個客戶稱之 為「在硬體速度下的可程式化能 力」)。這些FPGA與具有特定功能 的IC搭配應用，例如網路介面晶片 (network interface chip，NIC) 和網路交換器晶片。
續變化中的標準。 儘管FPGA的可程式化能力如
• 雲端資料中心:連網、儲存與 安全性;
前面所述相當有價值，該類元件的 功率和尺寸又是另一個故事── 今日的資料中心和通訊業者想要 將FPGA整合到SoC裡，以縮小尺 寸和功耗。
• 通訊系統:基地台和5G等等。 事實上，因為FPGA對資料中 心所具備的策略性意義，促使英 特爾(Intel)收購Altera (EETT編 按:2015年完成收購)，還有最近 AMD對賽靈思(Xilinx)的併購。這 是因為在許多狀況下，處理器的工
近十年來，包括 Achronix、Flex Logix和 Menta等業者，已經具備提供嵌 入式FPGA (eFPGA)產品的能 力。eFPGA現在可使用180奈米 到7奈米製程節點生產，容量從 1K查找表(LUT)到100K LUT，並 即將邁向1M LUT，亦可供應DSP
作負載正被移轉到FPGA上。
Cerebras將權重儲存在 MemoryX上，然後根據需要將資 料串流到晶片。Lie表示，在沒有密 切依賴性的情況下，對權重記憶
eFPGA助益先進資料中心與通訊應用
Geoff Tate，Flex Logix執行長
每個資料中心有不同的工作 負載，因此以標準化產品來滿足所 有的需要是行不通的，每個資料中 心有不同的數量規模和資本，以根 據需求進行最佳化。通訊系統則 是長期以來使用FPGA處理數百 個國家級頻段和通訊協議;在當 前5G的環境中，FPGA則被用來 管理複雜性，和諸如O-RAN等持
FPGA的整合已經開始
2022年4月 | www.eettaiwan.com
33