人工智慧旅程：為何您需要打包 OpenShift 與 OpenVINO™

June 6, 2022

Christina Cardoza

openshift, openvino

人工智慧是一個令人生畏的領域，部署人工智慧應用程式有很多事情要做。但是，如果您沒有選擇正確的工具，它可能會變得更加困難。幸運的是，Intel^® 和 Red Hat 所做的工作正在減輕企業和開發人員的負擔。

我們將與企業開放原始碼軟體解決方案供應商 Red Hat 的資深首席軟體工程師 Audrey Reznik 以及 Intel^®OpenVINO^™ 開發者工具產品經理 Ryan Loney 討論部署人工智慧應用程式的一些正確方法。他們將討論機器學習和自然語言處理；將 OpenVINO 人工智慧工具組與 Red Hat OpenShift 結合使用；以及人工智慧智能應用程式的生命週期。

為什麼人工智慧和機器學習成為企業的重要工具？

Ryan Loney: 今天所有的東西都嵌入了一些智能。因此，人工智慧正在融入各個行業—工業、醫療保健、農業、零售等。他們都開始利用軟體和演算法來提高效率。而我們只是處於這個在應用程式中使用自動化和智能的時代的開端。

我們也看到許多公司（Intel 合作夥伴）開始利用這些工具來幫助人類完成工作。例如，技術人員分析 X 光掃描或超音波。以及在工廠裡，使用攝影機檢測是否有出現問題，然後標示問題所在並派人檢查這些問題。

我們甚至開始優化語音合成、自然語言處理的工作負載，這是 OpenVINO 的一個新領域。如果您去自動提款機，讓它大聲讀出您的銀行餘額，這就是開始利用人工智慧的地方。它確實在我們的日常生活中無所不在。

人工智慧與機器學習是如何開始在各個產業中被廣泛地採用？

Audrey Reznik: 當我們研究如何在各個產業中部署人工智慧和機器學習時，我們必須考慮兩種情況。

有時，環境中涉及大量的資料引力，資料無法從內部遷移到雲端，例如國防系統或政府機構—他們傾向將資料保存在內部。所以我們看到很多人工智慧/機器學習都是以這種方式部署的。通常，人們會期待一個具有機器學習作業功能的平台，他們尋找能夠幫助他們進行數據工程、模型開發、訓練/測試部署以及監控模型的東西。

如果沒有特別的資料安全問題，他們傾向於將許多機器學習作業的建立和交付/部署轉移到雲端。在這種情況下，他們會尋找具有機器學習作業的雲端服務平台，以便他們可以再次查看和管理數據、建立模型、訓練和測試它們、部署它們以及監控和重新訓練這些模型。

在這兩種情況下，人們真正尋找的是易於使用的東西—一個對於數據科學家、數據工程師和應用程式開發人員來說容易使用的平台，以便他們可以進行合作。而合作則推動了一些創新技術。

我們看到越來越多人同時使用這兩種場景，因此我們有所謂的混合雲端環境或是混合平台。

部署人工智慧應用程式面臨的最大挑戰是什麼？

Ryan Loney: 最大的挑戰之一是資料的存取。當您考慮為智能應用程式建立或訓練模型時，您需要大量的資料。而且您必須考慮到在一個安全的領域裏取得這些資料並訓練該資料。您不一定要將其發送到公共雲端，或者如果您這樣做，您需要以安全的方式進行。

Red Hat 和 OpenShift 給我留下印象深刻的地方就是他們對混合雲端的作法。您可以使用內部管理的 OpenShift，也可以在公共雲端中執行它—並且仍然能讓客戶將他們的數據保存在他們想要保存的地方，以解決安全和隱私的問題。

許多企業面臨的另一個挑戰是，當他們試圖擴大規模時，他們必須擁有一個能夠在需要時大幅增長的基礎設施。這就是我認為 Red Hat 真正發揮作用的地方—提供這種管理服務，這樣他們就可以專注於讓開發人員和資料科學家使用他們在企業環境之外所使用的工具，並使其在企業環境中也一樣容易使用。

讓我們談談 OpenVINO^™ 2022.1 版本中的變更。

Ryan Loney: 這是自 2018 年開始以來最重大的功能變更，它是由客戶需求所驅動的。其中一個重要變更是我們增加了硬體外掛程式或稱裝置外掛程式。我們最近還推出了獨立顯示晶片。因此 GPU 可用於深度學習推斷。客戶需要它們來進行自動批次處理等工作，他們可以讓 OpenVINO 自動為他們決定批次處理的大小。

正如我之前提到的，我們也開始擴展到自然語言處理。因此，如果您向聊天機器人提問：「我的銀行餘額是多少？」然後你再問它第二個問題：「我要如何開戶？」這兩個問題都有不同的大小—句子中的字母數和單字數。OpenVINO 可以在後台處理這個問題並自動調整輸入。

Red Hat 使用 OpenVINO^™ 的體驗如何？

Audrey Reznik: 在 OpenVINO 出現之前，很多處理都是在硬體上完成的，這是很昂貴的。OpenVINO 的出現改變了模型優化和量化方面的模式。

我先談論優化。為何要使用 GPU ，如果您這樣說「你知道嗎？我不需要這影片中的所有不同畫面來了解我的模型可能在看什麼。」也許我的模型在查看現場的管道，我們只是在檢查以確保它沒有任何問題。在不影響模型執行能力的情況下，為什麼不減少其中一些畫面呢？使用 OpenVINO，您只需添加幾項編碼即可獲得這個好處，而無需使用硬體。另一件事是量化。對於機器學習模型，運算中可能會有許多數字。我以大多數人都知道最著名的數字—pi (圓周率)來舉例說明。它並非剛好是 3.14，而是在小數點後有許多位數。那麼，如果您不需要那麼精確怎麼辦？如果您可以接受大多數人所使用的值(即 3.14)，那該怎麼辦？

您可以為模型省去不少麻煩，因為您仍然可以獲得相同的結果，但不必擔心在進行過程中會產生很多小數點位數。

對於客戶來說，這是非常棒的，因為我們只需使用 OpenVINO 增加幾行代碼。如果他們不必購買 GPU，那麼這會是一種好的、簡單的方法，可以節省硬體費用但獲得相同的益處。

人工智慧的旅程從頭到尾真正需要什麼？

Audrey Reznik: 有幾個非常重要的步驟。首先，我們要收集和準備資料。然後開發模型，並將模型整合至應用程式開發中。接下來是模型監控和管理。最後，重新訓練模型。

在基本基礎架構之上，我們還有 Red Hat 管理的雲端服務，這將有助於採用任何機器學習模型，從收集和準備資料（您可以使用我們的串流服務處理時間序列資料）到開發模型 (我們有 OpenShift 資料服務應用程式或平台)，最後到使用源到圖像來部署該模型。然後使用 Red Hat OpenShift API 管理進行模型監控和管理。

我們還加入了一些客戶管理的軟體，這就是 OpenVINO 的優點。同樣地，我們可以開發我們的模型，但我們可以使用 Intel 的 oneAPI AI 分析工具組。如果我們想要在應用程式開發中整合這些模型，我們可以使用 OpenVINO 這類的工具。

對 Red Hat 而言，我們希望能夠使用其他公司已經建立的服務和應用程式—我們不想重新發明一切。對於模型生命週期的每個部分，我們都已邀請了許多獨立的服務供應商加入這個平台—許多開放原始碼公司已經建立了非常好的應用程式和軟體，可以適用於週期的每個步驟。

我們的想法是，邀請所有這些開放原始碼產品進入我們的平台，以便人們可以選擇—他們可以選擇更適合他們的解決方案，以解決他們正在處理的特定問題。

Ryan, OpenVINO^™ 如何與 Red Hat OpenShift 配合使用？

Ryan Loney: OpenShift 為我們提供了出色的操作者架構，可以直接整合 OpenVINO 並透過這個圖形界面使用它。安裝了 OpenVINO 操作器後，我就可以建立所謂的模型伺服器。它採用資料科學家透過 OpenVINO 訓練和優化的模型，並提供一個 API 端點，您可以從 OpenShift 中的應用程式連接到該端點。

部署的運作方式是使用所謂的模型存放庫。當資料科學家和開發人員準備好部署的模型時，他們就可以將其放入儲存位置中並建立此存放庫。然後每次建立實例或 Pod 容器時，它都可以迅速地取出模型，以便您進行擴充。

即使您不執行 Audrey 之前提到的量化，OpenVINO 也會在幕後做一些事情—比如操作融合和卷積融合—這些事情可以提高效能、減少延遲、增加處理量，但不會影響精確度。這些是我們的客戶使用 OpenVINO 的原因：與僅用深度學習進行部署相比，可以擠壓出更多效能，並減少資源耗損。

開始成功的人工智慧之旅的最佳方式是什麼？

Audrey Reznik: 我的一位同事寫了一篇文章，提到最好的資料科學工作環境並不是您的筆記型電腦。他暗示了這樣一個事實，即當他們剛開始工作時，資料科學家通常會做的就是把所有東西都放在他們的筆記型電腦中。這樣會非常容易存取，他們可以載入任何他們想要的東西，而且他們知道這樣的環境不會改變。

但他們並沒有著眼於未來：您如何在筆記型電腦上進行擴展？您如何分享筆記型電腦上的這些東西？你如何升級？

但是當你有一個基本的環境，而且每個人都在使用，它會有益於升級這個環境，增加記憶體，增加使用中 CPU的資源，以及添加另一個託管服務。你也有一些可複製的東西。這是非常關鍵的，因為您希望能夠取得已經建立的內容，然後能夠成功地部署它。

因此，如果您正要開始您的人工智慧之旅，請嘗試尋找一個合適的平台。一個可以讓您探索資料、開發、訓練、部署和重新訓練模型的平台。一個可以讓您與應用程式工程師一起合作的平台。您希望能夠非常輕鬆地完成所有步驟 – 不需要絞盡腦汁克服困難。