LLM响应优化

• 模型问题
  • 切换不同模型，来观察LLM响应时间
  • 对于复杂任务、复杂逻辑，可选择旗舰模型，综合能力最高，支持深度思考模式
  • 对于实时语音、聊天机器人，可以选择flash的极速模型，这种模型会牺牲小部分的深度推理，但是会带来极高的响应速度
  • 对于文本总结、基础翻译、情感分析可以选择轻量模型