超越聊天機器人：生成式 AI 解決方案的潛力

January 26, 2024

Christina Cardoza

GenAI解決方案

AI 的趨勢已經持續一段時間。邁入 2024 年，生成式 AI 已然興起，也正開創突破性的創新技術。絕大部分的目光都集中在 ChatGPT，其中許多人仍抱持對於生成式 AI 的錯誤觀念和誤解。

我們分別採訪了 AI 應用平台供應商 Anyscale 首席科學家 Waleed Kadous、全球管理顧問與技術公司 Accenture 的雲端首席技術專家 Teresa Tung，以及 AI 與分析首席總監身兼 Accenture 與 Intel 夥伴關係 CTO Ramtin Davanlou。共同探討生成式 AI 解決方案的商業機會、所面臨的挑戰，以及未來的發展方向（影片 1）。因為生成式 AI 時代已來臨，各方面發展值得我們寄予期待。

影片 1。Anyscale 與 Accenture 的業界專家探討生成式 AI 解決方案的影響與機會。（資料來源：insight.tech）

請談談生成式 AI、其商業機會與挑戰。

Ramtin Davanlou：簡單來說，OpenAI、Google 和 AWS 等公司利用大量運算資源和大量資料集來訓練 AI 模型（或稱 LLM 大型語言模型），得以生成全新內容，並建構全新知識。這些內容有各種不同形式：包含文字、影像、影片、語音，甚至是電腦程式碼。文字是大多數企業的主要通訊方式，因此格外重要。

許多 AI 模型能針對任何指定主題生成適當的回應，且回應品質更勝於一般人或該領域的一般專家。公司可以針對這些模型進行微調，讓模型以特定方式運作，並獲得更多特定情境相關知識。藉此創造出豐富的商業機會。

公司可以利用生成式 AI 完成傳送電子郵件或製作投影片等工作，藉此相互交流，或甚至是增強這些內容。此 AI 結合機器人技術，將對服務業和製造業造成重大影響。

不過 LLM 現在還無法做到，但可能很快就能做到的，是從頭開始構建新知識。

企業在開發 GenAI 解決方案時應考量的因素有哪些？

Waleed Kadous：其中一項需考量的因素就是這些模型的輸出品質。LLM 有一種稱為幻覺的問題，會斷言完全不正確的事物。那麼，如何評估才可確保系統能產生高品質的成果呢？您使用哪些原始資料？過去六個月內，我們見證了「檢索增強生成」領域的發展，此技術有助於將幻覺問題發生率降至最低。

第二項考量因素是資料整潔度，指的是關於 LLM 可存取的資訊。其中會揭露的內容是什麼？告知訊息的權力從何而來？不同使用者之間是否存在洩漏問題？是否可能會有人針對訓練模型所使用的資料進行反向工程？目前這還是全新的領域，因此時常會有突發問題產生。

最後一項需考量的因素是 LLM 高昂的價格。我的意思是，非常昂貴。您很容易就會在 GPT-4 一個月花費數十萬美元。

企業如何開始使用 GenAI 解決方案並將其提升至全新境界？

Teresa Tung：大多數公司會先進行概念驗證，而許多公司開始採用 OpenAI 等託管模型。這些令人驚豔的通用模型可應用於許多使用案例，並可成為入門此領域的絕佳方式。但正如 Waleed 所言，長期成本是其中一項因素，其金額可能比許多公司願意支付的成本更高。因此，公司現在必須考慮如何精簡成本，並將模型適型化以達到應有效能。

隨著 AI 模型對企業而言越來越重要，我們也看到企業希望掌握其所有權。企業可能會希望能建立自己的特定任務／企業模型，而不是使用託管模型。有大約 100 億以下的參數模型可針對不同需求量身打造。仍會有通用模型可用，但也有專用模型。

Waleed Kadous：我們在 Anyscale 所做的其中一項實驗是將自然語言轉譯成 SQL 查詢。通用模型 GPT-4 的準確度可達 80% 左右。SSM（一種小型的特定模型）僅有 70 億個參數，大約是成本的百分之一，但透過訓練可以在轉換過程中達到 86% 的準確度。目前業界仍持續不斷討論比較小型特定模型與大型語言模型。

目前對於貴公司的客戶而言，生成式 AI 最有利可圖的商業機會在哪裡？

Waleed Kadous：第一種使用案例與機會是摘要。在哪些領域中需要濃縮大量資訊，且這些資訊有益於進行濃縮？

第二種使用案例與機會，是我先前提到的檢索增強生成領域。您不會只單純地向 LLM 提問，而是會提供既有的答案知識庫，用以協助回答這些問題。

另一個有趣的應用方式，您可以稱為「與系統對話」。想像一下，它是一塊可以交談、活生生的儀表板。這在物聯網領域中特別有趣。我發現有一間公司，以十分專業的方式應用此技術：為零售商安裝 Wi-Fi 設備。您可以向這個儀表板提問，例如：「哪些路由器正在過度運轉？」它會即時查詢相關資訊，並提供您最新資訊。

最後一種使用案例與機會是情境中的應用開發。最著名的莫過於 Copilot，當您編寫程式碼時，此工具會提供您關於如何編寫更完善、更高品質程式碼的建議。情境中的應用是最困難的一環，但也最有潛力。

Teresa Tung：Waleed 剛為我們提供精彩的概要說明，接著我會分享一些不同的觀點，包括可以購買的工具、可以提升的領域，以及可以建置的項目。「購買」是指購買生成式 AI 支援的應用程式，用於軟體開發、行銷、企業應用程式。這些應用程式使用經過第三方資料訓練的模型，可協助使用者提升效率。此領域已快速發展，成為新常態。

「提升」是指應用公司的第一方資料，包括有關您的產品、客戶與流程的資料。若想順利獲得提升，則必須妥善處理資料基礎，推薦您可以從檢索增強生成開始著手。

「建置」是指公司維護其自訂的模型。可能可以從預先訓練的開放模型開始，之後再加入您自有的資料。如此一來可以讓您獲得更多的模型控制權與自訂功能。

Accenture 與 Intel 的夥伴關係能發揮哪些作用呢？

Ramtin Davanlou：在這個領域中，夥伴關係非常重要，因為各公司在試圖打造端對端 GenAI 應用程式的過程，通常都必須解決基礎架構與運算資源等問題。舉例來說，您需要高效的 ML Ops 工具來協助您處理所有工作，包括開發、管理、監控以及在生產環境中部署模型。

因此我們應用了一些 Intel 軟體，如 ML Ops 工具 cnvrg.io，讓資料科學家與工程師可以在同一環境中協作。這樣的夥伴關係也讓我們可以跨雲端平台使用不同運算資料，例如在內部部署環境、Intel^® Developer Cloud 和 AWS 等平台。

也能夠降低擁有權總成本，尤其是擴充後的成本。與其每次為了新的使用案例建置新平台，何不建置一個可以重複使用的平台呢？舉例來說，我們在 Intel 使用 Intel Developer Cloud 搭配 GaudiTools 打造出一個生成式 AI 遊樂場，而 GaudiTools 正是專為微調深度學習應用程式模型而打造的 AI 加速器。接著，您可以使用 AWS 大規模部署這些模型。

另一個常見需求是需要協助分散工作負載的工具。Hugging Face 的 TGI 資料庫非常實用。因此您會發現，我們需要結合不同元件和組件，才能順利打造端對端 GenAI 應用程式。

Waleed Kadous：另外是開放原始碼的部分，包括開放原始碼模型，當然還有開放原始碼軟體。其中一個範例是 Meta 發佈的 Llama 2 模型，我可以看見成果非常亮眼。此模型可能比不上 GPT-4，但絕對是和次一等級的 GPT-3.5 旗鼓相當。Berkeley 推出的 vLLM 和 Ray LLM 都是非常高效能的部署系統。vLLM 可用於管理單一機器；Ray LLM 可為您提供跨多台機器的可擴充性，讓您可以處理峰值與自動擴充等問題。

我們見證開放原始碼蓬勃發展，因為並非所有人都喜歡將所有資料委託給一兩間大型公司，而供應商鎖定問題也是非常值得關注的議題。另外，關於靈活性：我可以在資料中心進行部署，或是在我自有的 AWS 雲端部署，除了我之外沒有人能進行存取。

而且，因為成本的緣故，開放原始碼解決方案的費用更低。我們整理出打造電子郵件摘要引擎所需的費用，若使用 GPT-4 等級的工具，需要花費 36,000 美元，而若使用開放原始碼技術，則只需要花費 1,000 美元左右。

我們發現越來越多人對開放原始碼模型感興趣，包括注重成本的新創公司，以及較注重隱私與資料控制的大型企業。我不是說開放原始碼模型和相關技術已臻完美，而是這樣的模型與技術十分靈活且成本更低。開放原始碼有各種大小的模型，從 1800 億到 70 億都有。是具有高度彈性的。