Page 32 - 實現系統級效能、功耗與面積的3D-IC小晶片設計

30
用HBM的主要原因似乎就是成本。 「HBM整合AI處理器的淨成本，是 伺服器等級DDR每位元組(byte)成 本的10倍以上;」Knowles指出， 「即使容量適中，HBM也主導處理 器模組的成本，但如果AI電腦利用 DDR，就能以相同的整體擁有成本 (TCO)部署更多AI處理器。」
HBM能有效將封裝後的光罩尺寸 (reticle-sized)處理器成本提升三 倍。而Graphcore的8GB HBM2與 8GB DDR4的成本明細顯示，HBM 裸晶尺寸是DDR4的兩倍(將20奈 米HBM與Knowles認為是同級產 品的18奈米DDR4進行比較)，從而 增加了製造成本。還有TSV蝕刻、 堆疊、組裝與封裝的成本，以及記
憶體和處理器製造商的獲利率。 「DDR DIMM不會發生這種 利潤堆疊(margin stacking)，因 為使用者可以直接從記憶體製造 商取得;」Knowles表示:「實際 上，出現可插拔式電腦零組件生態 系的一個主要原因，就是為了避免
根據Knowles說法，40GB的
出現利潤堆疊。」
圖4:Graphcore對HBM2與DDR4記憶體的成本分析顯示，前者的成本是後者的十倍。
(來源:Graphcore)
Esperanto創辦人暨執行董 事長Dave Ditzel指出，資料中 心推論不需要巨大的晶片上記憶 體;「我們的客戶不想要250MB 的晶片上記憶體，他們要的是
以多勝寡、以小博大
在Hot Chips大會期間脫離 隱身模式的美國矽谷新創公司 Esperanto Technologies，則 提供了另一種解決記憶體瓶頸問 題的方法;該公司的1,000核心 RISC-V架構AI加速器，目標應用 是超大規模推薦模型的推論訓練， 而非前面提過的AI訓練工作負載。
圖5:Esperanto透過利用6個較小晶片而非單一大晶片來解決記憶體瓶頸問題，並能留下接腳用於連結LPDDR4x晶片。 (來源:Esperanto Technologies) www.eettaiwan.com | 2022年4月
INNOVATIONS