GPT-6減少重複處理資料,讓長任務更快、更省錢

9月22日,OpenAI宣佈改進GPT-6提示詞快取,複用重複指令和資料的計算結果。符合條件的共同輸入字首在30分鐘內複用時可享快取摺扣。
新增工具可顯示快取命中率並解釋未命中原因。最高90%的折扣僅適用於符合條件的快取輸入,而非全部費用。在遵守相關條件時,開發者也可在回答之間調整思考強度,同時保留可複用上下文。
本報觀點
整理好資料,也能降低AI執行成本
本報認為,整理資訊可能變得和選擇模型一樣重要。將穩定的手冊與經常變化的指令分開,可減少重複處理。即使使用同一個AI,資料組織良好的團隊也可能更省錢。
節省下來的資源可以用來比較方案、檢查錯誤。價值不只是以更低成本完成原來的工作,也可能讓團隊做得起過去省略的核查。
今後生活可能怎樣改變?
以下是根據這則新聞作出的未來設想。
小店也能用上熟悉業務的AI助手
未來,小店的AI可能複用商品資料和服務規則,上午擬寫客戶回覆,下午製作新品介紹,減少反覆處理相同背景資料的等待。
這是可能的使用場景,並不意味著超出此次時間視窗後仍能無限記憶。更好的資料準備,可能讓小企業也負擔得起持續的AI工作。

