Skip to main content

AI • 物聯網 • 網路邊緣

利用 Intel® SSF 消除人工智慧的瓶頸

機器學習與人工智慧凸顯了高效能運算的限制。理論上,高效能運算的平行架構可以隨著資源增加而以線性方式擴充,但是實務上卻完全不是這麼一回事。高效能運算系統經常因為運算處理、資料傳輸與儲存之間的不平衡狀態而遇到瓶頸。硬體與軟體未標準化,致使不同實作之間脫節且無法達至最佳效能。結果,當系統擴充時,效率不彰的狀況和成本也隨著增加。

新進的可擴充系統架構

為了消除瓶頸,Intel 推出了 Intel® Scalable Systems Framework (Intel® SSF)。SSF 旨在用更全面、均衡且可擴充的方式執行高效能運算。要完成這個任務,SSF 把記憶體、運算處理和網路傳輸中與管理軟體和輔助參考架構搭配運作的特定元素找出來(圖 1)。

圖 1. SSF 把記憶體、運算處理和網路傳輸中與管理軟體和輔助參考架構搭配運作的特定元素找出來,以便消除高效能運算的瓶頸。(資料來源:Intel 公司。)

在 SSF 中可使用的硬體元素包括:

  • Intel® Xeon® 處理器 E5-2600 v4 及 Intel® Xeon Phi 處理器
  • 使用 NVMe(非揮發性記憶體)建置的 Intel® Optane SSD
  • Intel® Omni-Path Architecture (Intel® OPA) 網狀架構及 10/40-Gbit/s 乙太網路

這些全由 Intel® Enterprise Edition for Lustre* (Intel® EE for Lustre) 軟體提供支援。Lustre 是專門解決平行儲存架構之需求的開放原始碼檔案系統。Intel 以常見的檔案系統為基礎並予以增強,包括:

  • Intel® Manager for Lustre,可簡化安裝與設定
  • Hadoop* MapReduce* 整合式支援
  • 全球全年無休的技術支援

Intel SSF 立下了作業系統的標準,其中包括 Linux 核心、存取控制、程式設計介面、執行時間環境、儲存和檔案系統。舉兩個例子,它指定 Linux Standard Base (LSB) 命令系統以及每個節點上 RAM 的最小數量。請務必注意,SSF 的 API 使用 LP64 程式設計模型。這代表它與常見的高效能運算程式設計模型相容,並可利用既有的程式碼。如此便能支援各種高效能運算功能之整合,否則它們之間可能脫節。SSF 的優點令人印象深刻。Premio Inc 是提供基於 SSF 的儲存解決方案的供應商,其伺服器與儲存產品經理 Andy Lee 表示:「使用 SSF,速度會比前一代[non-SSF-enabled]增加 25% 至 30%。」

其中一個實例是自動駕駛汽車,演變至今已經產生了數 TB 的資料。Lee 指出:「前一代的 Xeon 要花一個月時間才能分析所有資料和執行物件訓練;現在您訓練自動駕駛汽車上的所有物件只需要一半時間。」

Premio 已經導入SSF,把它用作 FlacheSAN2N24U-D5 儲存伺服器的基礎(圖 2)。該伺服器使用兩個 Intel® Xeon® 可擴充處理器並支援 24 個前置型熱抽換 NVMe PCIe 3×4 2.5 吋磁碟。運用 SSF 的原理加上其他元素,例如 Omni-Path 和 100G 介面,FlacheSAN2N24U-D5 的傳輸量可達 60 GB/s 以及 1200 萬 IOPS。

圖 2. Premio Inc. 的 FlacheSAN2N24U-D5 儲存伺服器使用 SSF 來消除瓶頸,所以能達到 60 GB/s 的傳輸量,以及 1200 萬 IOPS。(資料來源:Premio Inc.)

FlacheSAN2N24U-D5 是一種超級運算應用,Lee 指出:「它可以用來迅速分析資料,例如用於鑽探、天氣預測、石油與天然氣、農業和保全。」

不是所有 SSF 實作皆一樣

雖然 SSF 似乎讓人們覺得部署或選擇一個基於 SSF 的高效能運算相對簡單,設計師或潛在客戶在導入或是選擇供應商時卻要萬分謹慎。據 Lee 指出,Premio 所實作的 SSF 是附加價值之所在,因為它製造自己的主機板,執行所有路由,並且直接連結磁碟機來提供儲存(圖 3)。它也針對低延遲和傳輸量的需求自行採購合適的元件,Lee 說道。但成本仍然是關鍵因素,所以 Lee 說他們堅持使用現成元件。

圖 3.  Premio 所實作的 SSF 透過自行設計主機板和執行路由,以及針對低延遲和傳輸量的需求自行採購元件,達成了差異化的目標。(資料來源:Premio Inc.)

設計高效能運算系統雖是很好,但變更與升級的需求總是不斷出現。Premio 直接解決了這些問題。「我們的伺服器設計,能與未來的處理器相容。」Lee 說道。「只需要切換[older]運算節點並取得 Skylake[now called Xeon Scalable processors]。」Lee 指出,重新設計主機板可能花費 6 個月至 1 年時間,相較之下,利用這樣模組化、同類交換的方式能省下時間。另一項需要釐清的重點是,設計團隊並不保證會花時間把新的基於 SSF 之系統設計正確,所以最後會造成更多瓶頸,Lee 說道。「我們建立一個均衡的架構,要消除整個網路上所有瓶頸。」他說。例如,Premio 能夠執行所有五個 PCIe 線道,所以能善用 Xeon 可擴充處理器,而其他的僅能執行兩個線道。Premio 也使用 RoCE(透過聚合型乙太網路的 RDMA)網路通訊協定來管理線道。這是連結層通訊協定,所以它允許在同一個乙太網路廣播網域內的任何兩台主機進行通訊。Premio 有其他 SSF 實作,有些可用,而有些仍在開發中。隨著人工智慧出現且發展迅速,這個時機是最好不過了。

作者簡介

Patrick Mannion is a independent content developer and consultant who has been analyzing developments in technology for more than 25 years. Formerly Brand Director for EETimes, EDN, Embedded, Planet Analog, and Embedded.com, now part of AspenCore, he has also been developing and executing community-oriented online- and events-based engineer-to-engineer learning platforms. His focus is on connecting engineers to find novel design solutions and focused skills acquisition in the areas of Embedded, IoT, Test and Measurement, RF/Wireless, and Analog & Mixed-Signal Design.

Profile Photo of Patrick Mannion