Page 24 - 企業轉型腳步不停歇2022年數位優先世界成形

22
目，我們能夠以一個小的本地樣本 數目執行;」Hubara表示:「當加 速器從8個轉換到16個的時候，我 不需要將整體樣本數目增加到兩 倍...Guadi的架構讓我們能夠實現 高利用率，甚至我們不需要將饋入 裝置的樣本數目最大化。」
的檢查點(checkpoint)節約;減 少檢查點可顯著節省時間，不僅 是節省一個檢查點，每個工作節 省一組模型權重子集，能使速度 大幅提升。
訓練性能測試中，並未參與封閉賽 程的跑分，不過在開放賽程公佈了 兩套非常大型之模型的跑分結果; 這兩套模型在架構上與MLPref的 BERT模型相似，但有更大的維度 和更多層數。
Habana的跑分結果也比上一 個回合進步，這又是得益於軟體 最佳化的結果。由於資料封包的 技 術，B E R T 訓 練 時 間 少了一 半;在 訓練資料中較短的句子，被以多序 列(multi-sequence)方式打包(較 短的句子會以0來填充，以達成一 個固定的輸入尺寸)。資料封包是 在預處理過程中進行處理，不算 在性能基準訓練時間內。
而被問到Habana加速器是 否能以較少主CPU來運作，該公 司的回答是:「主CPU對Gaudi卡 的比例是可以改變的，對我們的 Gaudi卡來說不是限制。一套典 型的系統有兩個Xeon插槽供8個 加速器所用。我們利用這個配置 是因為我們的目標是取代以GPU 為基礎之系統，而且我們的客戶 偏好雙插槽系統。」
其中之一是利用TensorFlow 框架，在一套配備2,048個加速器 的TPUv4系統上，進行4,800億參 數、以Transformer架構為基礎、 僅編碼器的性能測試基準訓練， 花費時間約55個小時。另一個跑 分結果是以配備1,024顆晶片的 TPUv4系統，進行2,000億參數的 JAX模型訓練，花費時間約40個 小時。Google表示，每一場訓練 的系統執行可達到63%的運算效 率。
此外Habana也實現了輕度
Google在這一回合的MLPref
Google
技術專家:明確的機器學習目標是 實現AI安全性關鍵
George Leopold，EE Times特約記者
設計機器學習應用程式的一個關 鍵挑戰，是在軟體程式碼當中精確 地描述開發者想要系統執行的工 作。美國喬治城大學(Georgetown University)安全與新興技術中心 (Center for Security and Emerging Technology)不久前發表的一篇論 文作者強調，克服機器學習的規格 描述挑戰，是邁向更高人工智慧(AI) 安全性的關鍵步驟。
www.eettaiwan.com | 2022年1月
上述論文作者將AI安全性規 格(specification)定義為在程式 碼中傳達機器學習系統應該要執 行之工作的詳細描述，或者他們 所稱的「人類特有目標」(human- specific objective)。一個例子 是在排列的圖片方塊中找出「紅 綠燈」的CAPTCHA圖磚驗證系統 (EETT編按:在一些網站可以見 到，用以區分機器人與人類的驗
證步驟)。而像是訓練模型的步驟 規則未包括在內。
為了讓機器學習能辨識各種 圖形，開發人員會詳述關鍵目標。 該目標函數代表一套學習演算法 的核心成分，闡述一個模型在蒐 集更多的訓練資料時該如何學習。
而在開發者試圖從功能有限 的應用程式邁進更具挑戰性的真 實世界應用程式之同時，AI安全
INDUSTRY TRENDS