缓存命中价格
缓存命中价格就像复印老资料比重新打印一整套便宜多少,这个差价会决定长任务能不能跑得划算。
关键结构图
当前相关远处弱强
中心节点写「缓存命中价格」,周围连接 cached input tokens、API pricing token usage pricing、tokenmaxxing,用细线表示相邻路径和调用方向。
What
缓存命中价格是模型服务在重复上下文被缓存复用时收取的价格。对长上下文和 agent 任务来说,大量提示、文件和历史会反复出现,缓存命中价格会显著影响实际使用成本。
When
当你需要理解模型之外还有哪些基础设施支撑 AI 能力时,可以用「缓存命中价格」命名这块砖,再连接相邻概念继续判断。
How
agent 工作流越长,越依赖重复上下文、文件摘要和任务历史。缓存命中价格会影响 agent 是否适合长任务、是否需要上下文压缩,以及是否要设计更细的任务切片。
Examples
在拆解一个 AI 系统为什么能稳定运行时,你可以用「缓存命中价格」标记其中最需要被看见的结构,再检查它提供了什么证据、边界或行动方向。
在整理「AI 基础设施」主题时,把「缓存命中价格」和「cached input tokens」放在同一路径里,可以帮助读者从单点概念走向可复用的判断框架。
来源
类型:系统结构 / 概念整理
事实线:这张卡把「缓存命中价格」整理为概念提炼: 缓存命中价格是模型服务在重复上下文被缓存复用时收取的价格。
依据:1000 Bricks 本地砖块库的概念定义、相邻砖块关系和AI 基础设施、系统架构和工具链讨论。
边界:适用于「AI 基础设施、算力、存储、运行时和工具系统」主题下的理解、复盘和设计判断;不等于行业统一标准或对所有场景都成立的结论。
常见误读:不要把它当作某篇材料的原文摘要,也不要因为概念名清晰就忽略具体情境和验证证据。