AI方案選擇困難？以技術堆疊模型破解導入關鍵難題

作者：嚴國瑞（資訊管理學系產業組博士生）
與談學者：張欣綠（資訊管理學系教授）

一、論文簡介

AI興起，許多企業引頸期盼導入實現自動化、預測變化或洞悉客戶提升競爭力。為滿足需要，資訊與雲端供應商提供多樣的AI與平台解決方案。作者張欣綠教授指出，AI導入常出現「各說各話」的問題，各部門或供應商專業不同，討論AI導入時，可能是指應用服務，也可能聚焦在演算法，甚至是談資料或算力。因此，本研究希望建立一個AI導入技術堆疊模型，藉由共同框架讓利害關係人，能夠說同一種語言，形成共識。

此外，AI導入有許多管理挑戰，包括：如何挑選技術方案、缺乏導入經驗、資料來源與品質、避免被供應商套牢 (Lock-in) 等。同時，如何在老舊的既有資訊技術與系統(IT/IS)環境中順利整合，既確保可行與可持續性，還能兼顧目標及成本效益，亦是產業運用AI的難題。

        「AI即服務 (AIaaS)」讓企業能使用AI，但不必從頭開始投資，可以降低建置成本並加速開發。搭配多元普及的雲端服務，能滿足主流資訊系統發展在「敏捷研發設計」 (Agile)、「隨選即用」、「自動擴容」 (Auto Scaling)、「最小可行性產品」(Minimum Viable Product, MVP)等趨勢。但許多AIaaS方案以整組成套方式提供，在導入前，企業將面臨異質資訊系統整合設計的挑戰。在導入後，或因各系統特有專屬規格的特性，衍生被供應商套牢、應用所有權、或新功能及跨系統（包括開源軟體）的彈性限制。有時候，供應商解決方案綑綁了多方AI元件，造成系統升級、可靠性維持以及訂定服務水準協議 (Service-level Agreement, SLA)時的困擾，增加系統遷徙及擴充升級相容的複雜度。

過往研究缺少AI方案導入評估的模型，因此本研究針對雲端、AIaaS服務、第三方AI 方案及開源軟體的技術特性與功能價值，提出了「技術堆疊模型」以解決導入決策評估問題。張欣綠教授也分享，本次研究主要挑戰是如何定義技術堆疊的層級，因此將市場上各廠商與開源的大量具體方案，由底層硬體基礎到上層應用服務，透過功能性歸納分類，以AI工作任務的一致性原則，釐定各技術堆疊層級介面的邊界。

最終，研究定義出概念化非對應特定系統的框架，以模組化鬆耦合 (loosely coupled)形式，建構出七層級技術堆疊模型 (AI Tech-Stack Model)。模型可以解決開發和部署AI應用的兩個問題：(1) 辨識如何利用可取得的AI方案幫助組織解決管理與技術問題。(2) 有效將需求AI應用與既有IT/IS設施，及數位商業平台整合成可行的資訊架構。

張欣綠教授也分享指出，本研究另一個重要的挑戰是如何應用技術堆疊模型。因此，研究也就企業AI導入所面對的關鍵影響要素，歸納出三項IT/IS關鍵能力，依資料串流特性，建立了整合評估框架。框架中包含三個面向：(1) 既有IT/IS (Incumbent IT/IS)系統：包括IT資訊基礎系統 (如資料中心)及IS資訊系統 (如CRM) 的能力; (2) 數位商業平台 (Digital Business Platform, DBP)：內外部系統資訊來源串接的能力; (3) 期待的AI系統：AI專案管理與分析研發的能力。

模型與框架的運作方式，主要針對期待的AI應用，透過技術堆疊模型將資訊技術依照層級分類，再配合關鍵能力框架，對各項關鍵能力進行評價，決定該項能力為低、中或高。藉由各層級能力的符合與滿足程度，做出委外或自建的對應決策建議。比如，在IT硬體運算資源 (如GPU或儲存容量) 不足時，能力定為弱，故可評估採AI基礎建設委外的方式進行。

本研究針對四家旅行社進行「智能旅遊推薦系統」規劃的實證，其中兩家為大型業者，擁有豐富的內部資料，期待利用數據洞察進行新方案的跨售和加購。另外兩家希望利用外部資料找尋新客戶，透過行銷增加銷售。藉由技術堆疊模型和能力框架的整合解構評估，明確歸納出四家公司為兩種導入樣態，分別是在「AI服務」及「資料管道」兩部分，並就個別缺弱部分準確建議利用委外關鍵技術或資料，達成導入的策略目標。

技術堆疊模型具有實際應用效益，在技術方面透過鬆耦合的架構，可提升AI導入方案在雲端服務與開源軟體交互運用的支持度、提升系統韌性和降低規劃的複雜度。在管理面向，可協助管理層對SLA的評估能力、降低或掌握被供應商套牢的疑慮，以更符合成本效益與效率的方式，整合多元AI方案，建立競爭優勢。

二、論文研究對照產業觀察

AI失敗是常態，善用工具提高勝率

麥肯錫調查指出 (McKinsey, 2021)，只有15%的受訪機構能成功的將自動化方案導入到業務，而僅有36%的機器學習演算法，能順利完成試驗階段後成功部署。

產業AI專案高失敗率原因眾多，其中一個主因是期待過高，包括想要能完全代替人類、提出未曾出現的觀點，甚至希望能預測未來。忽略了目前AI本質上還是基於大量高品質資料，是針對特定問題建立統計模型的應用資訊系統。

同時，AI專案還常面對成效不明及技術選擇困難等問題。為了滿足琳瑯滿目、五花八門的AI需求與期待，資訊主管需要進行各式的評估與實驗，不斷地釐清問題定義與變數，克服困難蒐集和清洗資料，並進行資料特徵萃取工程。有了足夠品質的資料，再重複進行變數和演算法訓練、驗證和調教，達成效度水準後，才有機會驗收並部署於業務流程之中。就算資料和運算的過程都順利，模型和業務的執行效益未必能滿足極高的期待。

AI專案是具有高度實驗性的，因此適度運用AIaaS服務可以有很大的幫助。首先是資料與算力：AI專案前期資料清整的工作費時耗力，大量計算能力取得不易，如果貿然購買昂貴的硬體可能發生利用率不足和機房擴充的問題。其次，縱使資料和算力足夠，模型成效不可預測，貿然投入大量的資本支出或營業費用，都是專案的效益風險。因此，很多AIaaS服務具有「用多少、算多少」的隨選即用特性，可以大幅降低專案風險。舉例而言，如果專案時程的關鍵路徑 (critical path)是算力硬體的採購，可以外購算力來加速專案進行。如果專案模型的成效是關鍵成功要素 (critical success factor)，則可運用外部AI模型對資料加速建模、驗證與調教，達到效度水準目標後，再開展其他專案工作，控制專案成本。

此外，AI方案的來源多元，可能是主管的認知與偏好、供應商推介或研發團隊創新的經驗。因此在方案評選時，企業所認知的規格或成效資訊可能過多或不足。但在專案時間、預算額度、內部資源或供應商能量有限等壓力限制下，難以逐案進行精確完整的概念驗證 (Proof of Concept, PoC)，產生決策品質的風險。致使許多專案在導入後，常發生客製化需求變更增加、時程延宕、預算追加、無法擴充等困境。

《哈佛商業評論》避免AI專案失敗的專文指出 (Iavor Bojinov, 2023) ，AI專案有五大關鍵步驟：選擇、開發、評估、採用與管理。在「選擇」步驟中，有兩個重要因素「數據的可得性」及「科技能力與專業技能」與本研究模型的關鍵因子相同。說明本研究所建立了創新且實用的工具，以可視化清晰的模型框架，提供產業在AIaaS服務選擇，以及AI導入策略評估方面，一個可以操作運用的管理工具。

異質多元是趨勢，耦合鬆綁提升敏捷

AI技術的競爭十分激烈，各家AIaaS 服務及雲端供應商不斷提升技術，解決方案各有擅長。根據Gartner Cloud AI Developer Service Review and Ratings 於2024年5月20的資料，例舉部分最受好評，可提供API/SDK/應用服務的代表性AI服務如：OpenAI (大型語言模型)、AWS Polly (語音)、Google Vision (影像處理)、Salesforce Einstein (客戶關係管理)等。

供應商為了確保其自身優勢，常限制其旗艦AI方案僅能於專屬雲端環境使用。企業為了使用最佳方案，或避免被供應商套牢，常採行所謂的「多雲」策略，與多家供應商往來。此外，挑戰者也提供了非雲端的解決方案，如Meta公司的Llma3開源地端大型語言模型，企業可以更安全便利在本地端應用生成式AI服務，再搭配其他雲端服務，形成「雲地混合」的資訊架構。

因此，為了滿足未來數位轉型及多變的業務需求，企業面對異質資訊系統及多元混合架構已成趨勢。AI方案的靈活度、可擴充性、相容靈活程度，將成為資訊核心競爭力。使用本研究所發展的技術堆疊模型，除可供新方案導入技術評估外，也能作為既有AI系統的檢閱機制。以技術堆疊分析作為AI策略發展的工具，勾勒自建或委外技術堆疊的藍圖，檢視各系統維運風險與成本效益，更可為內部資訊服務規劃「持續營運計畫」(Business Continuity Planning, BCP)，協助確保企業永續發展和營運韌性。

三、未來學術或實務上的發展或建議

本研究為AI導入面臨選擇問題時，提供了一個實用的工具與良好的研究基礎。透過衡量自身資訊系統條件、考量資料滿足度、自身AI能力，釐清關鍵需求，導入最適的AIaaS方案，滿足技術、業務與管理所需。

張欣綠教授建議，本研究雖已在旅行業進行了實證的研究，可嘗試將技術堆疊模型框架，應用於其他產業，探究模型的解釋能力或修正機會。展望未來，由於AI需求和技術不斷推陳出新，AI法規與風險管理要求日益殷切，企業對於AI應用的成本效益要求漸增，因此未來在學術和實務上，可就其他面向發展精進。

首先，模型可深入探討生成式AI導入的決策問題。生成式AI發展快速，技術堆疊模型可由單一應用型態，擴充為具有多系統及跨系統評估的能力。生成式AI技術與應用方案多元複雜，其部署可能在雲端、地端甚至邊緣設備，而且整合型態迥異多變，相較於單一AI應用專案情境更為複雜。同時，企業大型語言模型應用，常搭配自有「向量資料庫」 (vector database)，以「檢索增強生成」(Retrieval-Augmented Generation, RAG) 技術，透過內嵌應用整合的方式，深入多種「人機協作」的情境。新型態的生成式AI應用，已超越單一系統垂直層級技術堆疊的型態，面對更複雜的跨系統與橫向整合應用需求，是AI導入決策的新挑戰。

其次，模型可納入資料治理因素的整合研究。AI實務應用最關鍵的因素是資料，企業在資料的分享、整合、使用與管理方面，存在很多挑戰。對高度監理規管產業 (如金融業)，以及對隱私保護和資安內控嚴謹的大型企業而言，會建立「資料治理」制度。在企業使用外部第三方服務時，對客戶資料、營業秘密等有嚴格的非技術性限制。再考量資料取用限制與保護的限制後，技術方案的決策常會改變。以金融業為例，使用外部AIaaS和雲端服務即屬於「委外」，除技術進步性或成本效益考量外，還需要加上更詳細嚴謹的風險評估和控制機制，最終決策才能完備定案。

第三，可增加與營運風險與韌性的關聯性研究。Covid-19疫情過後，企業有更多關於資訊安全、極端氣候及地緣政治風險的顧慮，使得企業「數位韌性」營運不中斷的需求也日漸殷切。AI以及AIaaS方案為企業同時帶來了機會與威脅，AI自動化可以降低人工作業的影響，外部AI和雲端服務也提供企業更多備份和備援便利的選擇。

然而，運用外部或雲端服務不可控制的營運可能是巨大的。根據報導 (iThome, 2024)，澳洲Unisuper公司是一家擁有61.5萬會員、管理820億美元資金的退休基金管理公司。在2023年6月，Unisuper將其IT基礎架構遷移到Google Cloud (含1,900臺虛擬機、資料庫與應用程式)，並採用跨2個服務區域相互複製的高可用架構，以防範服務中斷與資料遺失。但於2024年5月因遭到Google 內部設定失誤，刪除了整個客戶的雲端設定，導致全部高可用架構失效，資料完全遺失。所幸有第三方備份，資料才得以還原，但該公司服務受影響已中斷一週。在外部AI與雲端決策評估時，如能增加營運風險以及數位韌性的考量，將可以協助決策評價更為完整，並強化企業數位韌性發展所需。

最後，模型可研究納入財務及成本效益的評估因素。企業專案多與財務績效連結，不論技術導入或資訊系統建置，均會發生資本支出或訂閱使用的營業費用。產業實務上，財務意見往往對專案有決定性的影響，包括：預算限制、投資回報 (Return on Investment, ROI)、費用攤提、支付條件、議價折扣，甚至稅率 (如：境外電子勞務、非標準化軟體)等。研究可納入「總擁有成本」(Total Cost of Ownership, TCO)的概念 (Ellram, L. M., 1995)，評估各可能方案，在使用期限內包括建置、使用、維護或擴充等應用情境的總體成本與評價，將可提升模型在導入決策於成本效益的解釋能力。

參考資料

中文部分

iTome (2024)，Google Cloud誤刪澳洲大型用戶雲端基礎架構，導致用戶資料遺失與服務中斷，

https://www.ithome.com.tw/news/162849，擷取日期 2024年5月20日

Iavor Bojinov (2023)，別讓你的AI專案脫軌失敗，哈佛商業評論，2023年11月號，

https://www.hbrtaiwan.com/article/22483/keep-your-ai-projects-on-track，擷取日期  2024/05/20

英文部分

Ellram, L. M. (1995). Total cost of ownership: an analysis approach for purchasing. International Journal of Physical Distribution & Logistics Management, 25(8), 4-23.

McKinsey (2021), Operationalizing Machine Learning in Processes, Retrieved from

https://www.mckinsey.com/capabilities/operations/our-insights/operationalizing-machine-learning-in-processes on May 20, 2024

Tsaih, R. H., Chang, H. L., Hsu, C. C., and Yen, D. C. (2023). The AI tech-stack model. Communications of the ACM, 66(3), 69-77.

https://dx.doi.org/10.1145/3568026