LLM的性能优化

• Prompt 提示词优化
  • 固定的system系统提示词放在前面
  • 动态的提示词的放在后面
  • cache命中率更高
• 流式输出（Streaming）
  • 生成一个 Token 就返回一个
  • 降低用户感知等待时间
• 上下文压缩
  • 对长对话、检索结果进行摘要
  • 降低输入 Token
• KV Cache
• 模型路由
  • 简单任务用小模型，复杂任务用大模型