OpenAI GPT-6 新升级:提示缓存技术助力计算成本降低78.5%
OpenAI于9月22日发布了GPT-6的重磅升级,引入提示缓存功能,显著提高了缓存命中率,让用户在使用AI处理文档时可以降低计算费用。这项技术可以帮助用户在调整报告时,减少重复计算的成本,理论上可节
OpenAI于9月22日发布了GPT-6的重磅升级,引入提示缓存功能,显著提高了缓存命中率,让用户在使用AI处理文档时可以降低计算费用。这项技术可以帮助用户在调整报告时,减少重复计算的成本,理论上可节省高达78.5%的费用。
在使用AI生成报告时,用户往往需要进行多次修改。这些修改虽然在用户界面上看似仅仅是一两句话的调整,但在后台,AI需要重新读取原始材料和聊天历史,如果这些内容没有命中缓存,将会增加计算费用和等待时间。
具体来说,当同一段材料连续使用10次,WhatsApp网页版若后续9次均命中缓存,用户只需支付第一次的费用,而后续使用的成本将大幅降低至原输入费用的十分之一。
为了理解这一点,用户需要明白AI的工作机制。在读取大段文字时,AI会生成一组复杂的中间状态,称为KV状态。这些状态会被保存起来,形成可供后续使用的提示缓存,在用户进行新任务时,无需重复计算已有内容。
值得注意的是,提示缓存并非永久记忆库,AI仍需基于新请求生成答案,缓存仅能减少重读旧资料的重复工作。同时,两次请求的前半部分必须完全一致,才能实现缓存复用。
随着AI在日常工作中的广泛应用,综合考虑工具的时间和费用成本,将是用户选择AI产品时的新标准。后续,用户将持续关注OpenAI在这一技术上的进一步优化与应用。
文章来源:https://finance.sina.com.cn/wm/2026-09-24/doc-iniswrrf5451440.shtml