cached input tokens
可以先理解为:重复输入前缀被缓存后影响Agent成本结构的Token
同样的长前缀反复发给模型,如果能被缓存,后面的账单可能没那么重。
关键结构图
中心节点写「cached input tokens」,周围连接 inference cost、tokenmaxxing、AI got expensive,用细线表示相邻路径和调用方向。
What
cached input tokens 是成本结构概念:当请求里的重复前缀可以被缓存时,重复上下文的计费和延迟可能降低,从而影响 agent 的上下文组织方式。
When
当你需要理解模型之外还有哪些基础设施支撑 AI 能力时,可以用「cached input tokens」命名这块砖,再连接相邻概念继续判断。
How
这块砖解释 agent 成本优化为什么要看上下文形状:重复规则、工具说明和历史前缀可能改变成本。
Examples
在拆解一个 AI 系统为什么能稳定运行时,你可以用「cached input tokens」标记其中最需要被看见的结构,再检查它提供了什么证据、边界或行动方向。
在整理「AI 基础设施」主题时,把「cached input tokens」和「inference cost」放在同一路径里,可以帮助读者从单点概念走向可复用的判断框架。
来源
类型:系统结构 / 概念整理
事实线:这张卡把「cached input tokens」整理为概念提炼: cached input tokens 是成本结构概念:当请求里的重复前缀可以被缓存时,重复上下文的计费和延迟可能降低,从而影响 agent 的上下文组织方式。
依据:1000 Bricks 本地砖块库的概念定义、相邻砖块关系和AI 基础设施、系统架构和工具链讨论。
边界:适用于「AI 基础设施、算力、存储、运行时和工具系统」主题下的理解、复盘和设计判断;不等于行业统一标准或对所有场景都成立的结论。
常见误读:不要把它当作某篇材料的原文摘要,也不要因为概念名清晰就忽略具体情境和验证证据。