未來觀測報
字號

字號僅儲存在當前瀏覽器中。

AI等待時間與費用

GPT-6減少重複處理資料,讓長任務更快、更省錢

抽象AI核心與整齊排列的藍色參考資料透過迴圈光路相連
表現AI重複利用共享參考資訊的概念插畫,並非GPT-6的真實內部結構。 AI生成插畫 / 未來觀測

9月22日,OpenAI宣佈改進GPT-6提示詞快取,複用重複指令和資料的計算結果。符合條件的共同輸入字首在30分鐘內複用時可享快取摺扣。

新增工具可顯示快取命中率並解釋未命中原因。最高90%的折扣僅適用於符合條件的快取輸入,而非全部費用。在遵守相關條件時,開發者也可在回答之間調整思考強度,同時保留可複用上下文。

本報觀點

整理好資料,也能降低AI執行成本

本報認為,整理資訊可能變得和選擇模型一樣重要。將穩定的手冊與經常變化的指令分開,可減少重複處理。即使使用同一個AI,資料組織良好的團隊也可能更省錢。

節省下來的資源可以用來比較方案、檢查錯誤。價值不只是以更低成本完成原來的工作,也可能讓團隊做得起過去省略的核查。

今後生活可能怎樣改變?

以下是根據這則新聞作出的未來設想。

小店也能用上熟悉業務的AI助手

未來,小店的AI可能複用商品資料和服務規則,上午擬寫客戶回覆,下午製作新品介紹,減少反覆處理相同背景資料的等待。

這是可能的使用場景,並不意味著超出此次時間視窗後仍能無限記憶。更好的資料準備,可能讓小企業也負擔得起持續的AI工作。