很多人以为： 大模型一开始训练完， 就能像 ChatGPT 一样回答问题。 其实不是。 大模型最开始学的事情， 比你想象中简单很多： 预测下一个 Token。 也可以理解成： 超大规模文字接龙。 这一步，就叫：预训练。 1. 预训练从随机参数开始 - 说明：一开始的模型并不聪明，它只是一个有大量随机参数的 Transformer。 - 例子：就像一个空白大脑，结构搭好了，但里面的“数字”还没有被训练好。 2. 训练目标是预测下一个 Token - 说明：模型看到前面的 Token，目标是猜出后面最可能出现的 Token。 - 例子：看到“床前明月光”，它要学会接出“疑是地上霜”。 3. 预训练数据不一定需要人工逐条标注 - 说明：网页、书籍、代码、文章等文本本身就能构成训练材料，但需要清洗脏数据。 - 例子：去掉乱码、广告、重复内容、无意义标签，数据质量会直接影响模型质量。 4. 预训练让模型学到语言规律和知识分布 - 说明：模型不是简单背全文，而是在大量文本中学习词语、句子、知识和模式之间的关系。 - 例子：它能补全诗句、续写文章、理解常见表达，说明它捕捉到了一部分语言规律。 5. 预训练模型还不是聊天助手 - 说明：预训练学到的是“接着写”，不是“按问题回答”。 - 例子：你问它一个问题，它可能继续写下去，而不是给你结构化答案。所以后面还需要 SFT。 所以，预训练可以这样记： 它不是让模型直接变成助手， 而是让模型先拥有语言基础和知识底座。 大模型训练的大致顺序是： 预训练：学会接话 SFT：学会回答 RLHF：学会更符合人类偏好 如果你刚开始学大模型， 先把“预测下一个 Token”这个核心吃透， 后面理解 SFT、RLHF、LoRA、蒸馏、量化都会更轻松。 你想继续看我讲： Token 到底是什么？ 还是 SFT 为什么能让模型学会回答？ 评论区告诉我。 #小红书 #笔记 #且曼Ai训练师就业班 #求职 #就业 #AI #实习 #预训练 #大模型训练 #Token