機器學習效能獲得 2.2 倍增強

September 13, 2017

Majeed Kamran

機器學習技術正改革工業自動化應用：協力機器人（簡稱為 cobot）向人類員工學習製造程序，然後以更高效率執行作業。配備 AI 的機器能夠自我診斷即將發生的元件故障，並要求維修。而這只是第一步。

當然，此類應用需要龐大的運算能力。這也就是為何 Intel® Xeon® 可擴充處理器（原代號為 Purley）是 AI 技術的重大里程碑。有了每個插槽最多 28 個核心和新的 Intel® Advanced Vector Extensions 512 指令集，這些晶片比前代處理器的深層學習訓練與推斷效能改善了 2.2 倍。

在工業伺服器方面，新一代的效能擁有新的網狀互連架構、快取記憶體設計、軟體工具以及現成可用的板卡解決方案支援，能夠加速建立 AI 為基礎的應用程式。

AVX-512：AI 的驅動引擎

從 AI 觀點而言，Intel® Xeon 可擴充處理器最重要的新功能即是 Intel® AVX-512 指令集的支援，讓每週期的浮點運算作業比前代加倍。其中，SIMD 指令集新增指令更是專為加速 AI 與機器學習應用程式產生的運算密集工作負載而設計。

值得一提的是，如此提升輸送量並未增加耗電。如圖 1 所示，Intel AVX-512 提供的每瓦效能顯著超越以往 SIMD 延伸功能，因而能以相同耗電及較低的時脈速度實現顯著提升的效能。

圖 1. Intel® Advanced Vector Extensions (Intel® AVX-512) 以同等耗電量顯著增強浮點運算效能。 (資料來源：Intel)

另外同樣值得一提的，就是每個處理器核心具備兩組 512 位元融合乘加運算 (FMA) 單元，能加速機器學習與 AI 演算法當中最常用一項作業。

當然，增加核心數量也有所幫助。新的晶片每個插槽最高可達 28 個核心，而前一代則最高僅達 24 個核心。

互連與記憶體技術大躍進

為支援 intel® Xeon® 可擴充處理器的強大馬力，L2 快取記憶體擴充至四倍容量，從前代 256 KB 改為 Purley 的 1 MB 容量。在接近核心處新增快取記憶體能夠顯著縮短記憶體存取延遲，進而在機器學習、資料壓縮和動作追蹤等需要龐大運算能力的工作中顯著提升應用程式反應速度。

Intel 並決定於新的 Intel® Xeon® 可擴充處理器的 Skylake-SP 微架構當中導入多項核心架構增強功能。這些包括晶片內建的網狀互連架構、升級插槽對插槽互連技術，以及拓寬 I/O 頻寬。

在晶片內的核心互連方面，新的網狀互連架構具備快取一致性，取代以往 Intel® Xeon® 處理器的環狀拓撲，為工業伺服器降低通訊延遲時間。網狀架構讓核心對核心通訊無需經由專用的通訊路徑繞過晶片傳輸，而能採取最短可能的 X/Y 軸傳送（圖 2）。如此有助於需要存取多個核心資料或在多個核心執行動作的密集工作負載將運算效能最大化。

圖 2. 網狀互連幫助縮短核心對核心通訊延遲。 (資料來源：Intel)

在需要多插槽效能的工業伺服器設計方面，Intel 亦已超越其 QuickPath Interconnect 技術。升級版的 Intel® UltraPath Interconnect 能夠提供 10.4 GTps 的插槽對插槽線路速率，為 AI 訓練與推斷技術提供多處理器的擴充性能。每一個 Intel® Xeon 可擴充處理器配備最多三組 Intel® UltraPath Interconnect 連接埠，讓大量核心的工業伺服器設計能夠輕易逐漸擴充。

不僅如此，新的 Intel® Xeon® 處理器亦支援 48 個 PCIe 3.0 線道、4 個整合式 10 Gigabit 乙太網路及其他多種高速 I/O。

整合進階功能於現有工業伺服器

Trenton System 的 SEP8253 HDEC 主機板卡即演示了新一代 Intel® Xeon® 處理器為執行機器學習工作負載的工業伺服器所提供的效能與靈活彈性。 SEP8253 HDEC 主機板卡配備兩個 Intel® Xeon® 黃金級 6100 系列處理器，此處理器屬於 Intel® Xeon® 可擴充處理器的產品組合。

SEP8253 板卡是一張網路擴充卡，將板卡兩個處理器的 88 個 PCIe 連結全數路由至兩倍密度的 PCIe 板卡接點，解放 Intel® Xeon® 可擴充處理器的完整運算與輸送量功能。 SEP8253 的 PCIe 設計讓它能夠輕易整合於各種背板和系統平台，包括 2U、4U 和 5U 的 19 吋機架安裝工業伺服器（圖 3）。

圖 3. SEP8253 板卡採用兩個 Intel® Xeon® 黃金級 6100 系列處理器。（資料來源：Trenton Systems Inc.）

增強軟體

一系列的軟體工具、最佳化程式庫、基礎建構模塊和具備靈活彈性的程式設計架構，能為使用 Intel® Xeon® 可擴充處理器開發 AI 功能的開發人員簡化工作流程與程式碼撰寫作業。

例如 Intel® Parallel Studio XE 軟體開發套件即讓開發人員將現有的程式碼基底翻新應用於機器學習和 AI，並利用 Intel® Xeon® 可擴充處理器的新功能增強應用程式效能。例如 Intel® Parallel Studio XE 2017 亦包含 Intel® Math Kernel Library for Deep Neural Networks 等效能程式庫，以加速 Intel® Xeon® 可擴充處理器上的深層學習架構效能。免授權費的 Intel® Math Kernel Library for Deep Neural Networks 加速數學處理常式，並增強應用程式效能。

最後，還有 Intel® Data Analytics Acceleration Library 可加速資料分析。其中含有經過精細調整的函式提升深層學習、經典機器學習以及資料分析效能，同時並最佳化資料輸入與演算法運算，提供最高可能的分析輸送量（圖 4）。