GPT-6减少重复处理资料,让长任务更快、更省钱

9月22日,OpenAI宣布改进GPT-6提示词缓存,复用重复指令和资料的计算结果。符合条件的共同输入前缀在30分钟内复用时可享缓存折扣。
新增工具可显示缓存命中率并解释未命中原因。最高90%的折扣仅适用于符合条件的缓存输入,而非全部费用。在遵守相关条件时,开发者也可在回答之间调整思考强度,同时保留可复用上下文。
本报观点
整理好资料,也能降低AI运行成本
本报认为,整理信息可能变得和选择模型一样重要。将稳定的手册与经常变化的指令分开,可减少重复处理。即使使用同一个AI,资料组织良好的团队也可能更省钱。
节省下来的资源可以用来比较方案、检查错误。价值不只是以更低成本完成原来的工作,也可能让团队做得起过去省略的核查。
今后生活可能怎样改变?
以下是根据这则新闻作出的未来设想。
小店也能用上熟悉业务的AI助手
未来,小店的AI可能复用商品资料和服务规则,上午拟写客户回复,下午制作新品介绍,减少反复处理相同背景资料的等待。
这是可能的使用场景,并不意味着超出此次时间窗口后仍能无限记忆。更好的资料准备,可能让小企业也负担得起持续的AI工作。

