未来观测报
字号

字号仅保存在当前浏览器中。

AI等待时间与费用

GPT-6减少重复处理资料,让长任务更快、更省钱

抽象AI核心与整齐排列的蓝色参考资料通过循环光路相连
表现AI重复利用共享参考信息的概念插画,并非GPT-6的真实内部结构。 AI生成插画 / 未来观测

9月22日,OpenAI宣布改进GPT-6提示词缓存,复用重复指令和资料的计算结果。符合条件的共同输入前缀在30分钟内复用时可享缓存折扣。

新增工具可显示缓存命中率并解释未命中原因。最高90%的折扣仅适用于符合条件的缓存输入,而非全部费用。在遵守相关条件时,开发者也可在回答之间调整思考强度,同时保留可复用上下文。

本报观点

整理好资料,也能降低AI运行成本

本报认为,整理信息可能变得和选择模型一样重要。将稳定的手册与经常变化的指令分开,可减少重复处理。即使使用同一个AI,资料组织良好的团队也可能更省钱。

节省下来的资源可以用来比较方案、检查错误。价值不只是以更低成本完成原来的工作,也可能让团队做得起过去省略的核查。

今后生活可能怎样改变?

以下是根据这则新闻作出的未来设想。

小店也能用上熟悉业务的AI助手

未来,小店的AI可能复用商品资料和服务规则,上午拟写客户回复,下午制作新品介绍,减少反复处理相同背景资料的等待。

这是可能的使用场景,并不意味着超出此次时间窗口后仍能无限记忆。更好的资料准备,可能让小企业也负担得起持续的AI工作。