pre-training
Google 发明的 transformer, 让一个参数量有限的模型，对几乎无限的知识,
进行信息压缩. 目的是让其预测下一个词语是什么.
然而, openai在实施的时候发现, 在这个压缩过程中产生了智能:
比如, 让模型读一本推理小说，让其推断凶手是谁，如果 AI
能准确预测凶手，我们认为模型读懂了故事. 也就是产生了智能.
这是模型的第一步, 称之为预训练(Pre-Training).
Fine-Tuning
为了让模型的交谈方式更像人类,
就让模型学习很多组预先的跟人类化的问答数据, 让模型模仿这些问答的模式,
这样模型学会人类的问答模式，也能听懂了人类对它的要求。
这称之为监督微调(Supervised Fine-Tuning, SFT).
RLHF
为了避免种族歧视, 违反人伦等答案, 我们还需要让模型知道对错, 哪些能输出, 哪些不能输出. 于是就找了一批人, 对模型的答案进行标注, 可以理解为给模型的答案评分. 这些标注将被训练成一个模型, 称之为”奖励模型”. 用奖励模型对大模型的答案进行规范, 这个过程被称为通过人类反馈的强化学习（RLHF, Reinforcement Learning from Human Feedback）
问题出现
随着知识数据的枯竭, 即便不断增加运算的硬件规模,
也无法产生更先进的模型.
另外, 随着AI的升级, 人类的智商无法评估模型结果,
也就是无法给模型的答案打分了.
这让当前的强化学习(RLHF)可能成为AI升级的瓶颈.
由于数据的问题目前无法改观, 那么AI界寄希望的是超越”人类反馈”的学习方式来提升AI智能.
OpenAI - Reasoning
科学家发现, 通过增加 step by step的思考过程来稳定模型的推理结果, 也就是如果增加大模型的思考时间, 答案会变得更好. 这被称为思维链(Chain-of-Thought, CoT).
OpenAI 后来推出的 Reasoning 模型似乎就是这种慢思考的模型. 它不再需要人类反馈, 而是自动评估结果, 自动奖励/惩罚. 被业界誉为转折点. 但由于其闭源性, 具体如何做到并未知道.
Deepseek - R1-Zero
DeepSeek对自己强化学习的模型命名, 让人联想到了AlphaGo的模型AlphaZero1
通过其公布的强化学习的算法和细节, deepseek找到了一种方法可以自动评分标记, 自动奖惩的方式:
- 使用deepseek v3 模型进行
- 使用Chain-of-Thought（CoT）数据对V3进行微调训练, 解决语言不一致的问题.
- 在数学和代码这两个数据集中, 通过运算结果来自动检验. 进行RL训练
- 通过GRPO (Group Relative Policy Optimization)算法, 对比由模型和推理产生的多个答案, 并根据结果正确性, 逻辑连贯性, 格式正确性等对答案打分, 然后以平均分为基准, 筛选出高于平均分的答案.
- 得到的R1-Zero模型比V3模型有显著提升.
- 为了适应更普遍、广泛的非推理任务（如写作、事实问答），他们构造了一组数据对模型进行二次微调。
- 结合推理和通用任务数据，使用混合奖励信号进行最终强化学习。
- 最终的DeepSeek R1
这揭示了一种不依赖人类的奖惩机制, 也可能是突破人类智慧的一种尝试.