AI模型参数

Q 越小，越省内存，但效果可能越差
Q 越大，越接近原模型，但越吃配置
B 越大 = 参数越多 = 模型脑容量越大
- 1 Billion = 10亿参数

模型规模参数和运行参数理解

类型	例子	含义
模型规模参数	7B、13B、70B	模型内部有多少“权重参数”
运行/生成参数	temperature、top_p、context、max_tokens	控制模型怎么回答、能记多长、输出多长

参数表

标识	属于	含义	记忆
7B / 13B / 70B	规模参数	参数量	模型脑容量
FP16 / FP32 / BF16	规模/精度	浮点精度	高清程度
Q4 / Q5 / Q8	规模/量化	压缩精度	压缩程度
Int4 / Int8	规模/量化	整数量化	4 位/8 位压缩
GPTQ / AWQ	规模/量化	量化方法	压缩算法
GGUF	文件格式	本地模型格式	Ollama/LM Studio 常见
Instruct / Chat	模型类型	是否适合对话	会不会听指令
Coder	模型类型	代码优化	更适合编程
4K / 32K / 128K	上下文	能看多长	短期记忆
temperature	运行参数	随机性	脑洞
top_p	运行参数	候选范围	候选池大小
top_k	运行参数	候选数量	排名前 K
max_tokens	运行参数	输出长度	最多说多长
stop	运行参数	停止条件	刹车
repetition_penalty	运行参数	重复惩罚	防复读
seed	运行参数	随机种子	复现编号
stream	运行参数	流式输出	边生成边显示
gpu_layers	运行参数	GPU 分担层数	让显卡干多少
threads	运行参数	CPU 线程数	几个工人干活

对应单词记忆

bash
B = Billion = 大脑大小
FP = = Floating Point = 浮点精度
Q = Quantization = 量化压缩
Instruct = Instruction-tuned = 指令微调
Context = Context Window = 上下文窗口
temperature = Temperature = 随机温度
top_p = Nucleus Sampling = 核采样
top_k = Top-k Sampling = 前 K 采样
max_tokens = Maximum Tokens = 最大输出长度
stop = Stop Sequence = 停止序列

对应完整单词

简写/参数	完整英文	中文理解	记忆
B	Billion	十亿，表示参数量	7B = 7 Billion = 70 亿参数
FP	Floating Point	浮点数精度	FP16 = 16 位浮点精度
Q	Quantization	量化、压缩	Q4 = 4 位量化
Instruct	Instruction-tuned / Instruct Model	指令微调模型	更会听人话、听指令
Context	Context Length / Context Window	上下文长度 / 上下文窗口	模型一次能看多长内容
temperature	Temperature	温度，控制随机性	温度越高，脑洞越大
top_p	Top-p Sampling / Nucleus Sampling	核采样，按概率范围选词	候选词池子大小
top_k	Top-k Sampling	从概率最高的 K 个词里选	只看排行榜前 K 名
max_tokens	Maximum Tokens	最大输出 token 数	最多说多长
stop	Stop Sequence / Stop Words	停止序列 / 停止词	生成到这里就停止

常见的模型参数

1B = Billion = 10亿

7B ≈ 70 亿参数
14B ≈ 140 亿参数
27B ≈ 270 亿参数
32B ≈ 320 亿参数
70B ≈ 700 亿参数

1B–4B：小型模型 7B–14B：中小型 / 中型模型 20B-35B 中大型模型 65B-80B 大型模型 100B+ 超大型模型

模型规模参数 和运行参数理解​

参数表​

对应单词记忆​

对应完整单词​

常见的模型参数​

相关电脑跑模型​

模型规模参数和运行参数理解

参数表

对应单词记忆

对应完整单词

常见的模型参数

相关电脑跑模型