理解LLM

• 文档：https://developers.google.com/machine-learning/crash-course/llm/transformers?hl=zh-cn

• LLM大语言模型本质是：能够根据上下文预测下一个 token

• LLM 解决的是“目标”

目的

• 理解用户问题
• 生成回答
• 做总结、翻译、代码生成
• 在 Agent 中做规划和决策

理解token

• token是模型理解的文本的最小单位
• 不同模型的有不同的token的分词计算规则
• 模型计算成本按 token 计费
• 它决定了模型的输入长度、上下文窗口、计费方式