大语言模型

大语言模型（LLM）就是「参数量足够大、训练数据足够多」的语言模型。它的训练目标朴素得反直觉：给定前文，预测下一个 token。

一个目标，撑起所有能力

翻译、写代码、做数学、总结文档，表面上是不同任务，但在「预测下一个 token」的框架下都是同一件事。模型为了把这个概率预测做得更准，被迫学到了语法、事实、推理步骤和写作风格——这些能力是副产品，不是被专门教出来的。

这也是为什么它没有「知识库」可以查询：知识被压缩进了几千亿个参数里，是一种模糊的、统计式的记忆。

三个训练阶段

1. 预训练（Pre-training）：读几万亿 token 的网页、书籍、代码，学会语言和世界知识。成本最高，占整个训练算力的绝大部分。
2. 监督微调（SFT）：用人工标注的「问题—优质回答」对，教它按助手的方式说话。
3. 对齐（RLHF / DPO 等）：用人类偏好数据调整，让它更有用、更少胡说、更符合规范。

参数量意味着什么

参数越多，通常能装下更多知识和更复杂的模式，但不是线性收益。同规模下，数据质量和训练方法的影响往往比多加参数更大。推理成本则和参数量、上下文长度直接相关——这就是为什么小模型（7B、14B）在特定任务上仍然是更划算的选择。

读它的时候要记住

• 它输出的是「最可能的下一句」，不是「查证过的事实」——所以会有幻觉。
• 它的知识有截止日期，除非接入了检索或工具。
• 上下文窗口再大，也不等于它能均匀地注意到每个位置，长文中间部分容易被忽略。