跳到主要内容

LLM的参数

  • 主流模型支持多少参数
  • LLM的参数越多越聪明吗
  • LLM的参数到底作用于学习还是回答阶段？

主流模型支持多少参数​

B 表示 Billion，即 10 亿：

  • 1B = 10 亿参数
  • 7B = 70 亿参数
  • 70B = 700 亿参数
  • 671B = 6710 亿参数

模型等级​

参数越多，模型越聪明吗​

  • 参数更多通常意味着能力上限更高，但不代表一定更聪明。
  • 参数量的增加为模型提供了更强的容量 (Capacity),能够存储更多的知识和更复杂的概念连接。
  • 数据质量优先于数量
    • 训练数据是垃圾(Garbage In),即使参数达到万亿级别,模型也只是 一个“博学的傻瓜”。高质量、经过清洗和**对⻬(Alignment)**的数据,能让 70B 的模型比 175B 的模型更实用

参数作用于训练阶段还是回答阶段​

  • 两个阶段都参与，但作用不同。
  • 训练阶段：学习和修改参数
    • 参数量越多,模型能够存储的知识总量就越大,能够捕获的概念关系和语言规律就越复杂
  • 回答阶段：读取和使用参数

LLM 常见参数​

  • model：使用哪个大模型
  • input / messages：输入文本或消息
  • instructions / system：系统指令
  • temperature：随机性
  • top_p：采样范围
  • max_tokens / max_output_tokens：最大输出长度
  • tools：可调用的工具
  • tool_choice：是否/如何调用工具
  • response_format：JSON、结构化输出等
  • stream：是否流式返回