缓存命中率

输出缓存

• 输出缓存：大模型在输出的时候，如果以前输出过，那么这次输出就直接复制了，不消耗 token，命中了

缓存输入命中

• 输入缓存：相同的内容之前已经计算过，就不用重复处理，直接复用
  • 如果没有缓存，每次调用模式，输入内容，都是带上下文、固定的系统提示词、业务规则等等，每次执行都带一遍，计算成本会越来越高，缓存输入就解决这个问题