AI 成本爆炸，為何企業開始轉向「模型繞路」？

Question

Accepted Answer

企業轉向「模型繞路」是為了應對 AI 成本失控的必然趨勢。

過去兩年，許多企業將所有人工智慧（AI）任務，無論複雜程度，都交由最強大、最昂貴的前沿模型處理，這導致了 AI 運算成本的爆炸性增長。例如，Cisco 的產品長 Jeetu Patel 曾指出，若每位員工每週產生約 200 美元的 AI Token 費用，一年下來，對於擁有 9 萬名員工的公司而言，總開銷可能高達 9 億美元，遠超出預期。這種情況迫使企業重新審視 AI 的投資報酬率（ROI），不再僅僅關注 Token 的消耗量，而是更加重視實際產出的效益。
成本壓力驅動效率提升

企業面臨的龐大 AI 運算開銷，促使他們尋求更經濟高效的解決方案。過去那種「一刀切」地使用頂級模型的策略，已經無法持續。Cisco 的案例顯示，若不加以控制，AI 成本可能吞噬公司巨額預算。因此，企業開始主動尋找降低成本的方法，以確保 AI 投資能夠帶來實質的商業價值，而非僅僅是高昂的帳單。
「模型繞路」成為新顯學

為了應對成本壓力，「模型繞路」（model routing）應運而生，成為業界的新顯學。這種策略的核心思想是根據任務的複雜度，將 AI 工作分配給最適合的模型。對於需要高度運算能力或複雜推理的任務，依然會交由 OpenAI、Anthropic 等昂貴的前沿模型處理；然而，對於資料查詢、文件撰寫等較為例行性、簡單的任務，則會轉而使用成本較低、運行速度更快的替代模型。
顯著的成本效益提升

「模型繞路」策略能夠帶來顯著的成本效益提升。Cognition 的執行長 Scott Wu 指出，目前多數企業仍有高達 95% 的 AI 用量運行在最昂貴的模型上。但事實上，對於大量例行性任務，替換成成本較低的運算模型，能夠實現五到十倍的成本效率增長。這意味著企業可以透過更精細化的資源分配，大幅降低 AI 運算總成本，同時不影響需要頂級模型處理的關鍵任務。
ROI 計算重心轉移

企業對 AI 的投資報酬率（ROI）計算方式正在轉變。過去，單純的 Token 消耗量是衡量 AI 使用量的重要指標，但現在已顯得不足。Cognition 執行長 Scott Wu 強調，單看 Token 數量毫無意義，關鍵在於 AI 產出的實質價值。例如，Cognition 推出的「AI 生產力保證」計畫，便是將 ROI 的壓力轉移給供應商，要求其 AI 代理（如 Devin）必須創造比其收費更高的工程價值，否則將提供補貼。這顯示企業越來越關注 AI 帶來的實際業務成果，而非僅僅是技術的使用量。
前沿模型廠商的定價權受挑戰

「模型繞路」的興起，也對 OpenAI、Anthropic 等前沿模型供應商的定價權構成挑戰。在過去，他們可以依賴其模型在各種任務上的優越性來維持高價。然而，隨著企業開始將簡單任務轉移給更便宜的模型，這些前沿模型未來可能只能在「真正困難」的任務上維持其高價策略。對於海量且易於處理的工作，市場將被更具成本效益的模型所佔據，這將迫使頂級模型廠商重新思考其商業模式與定價策略。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

AI 成本爆炸，為何企業開始轉向「模型繞路」？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友