深圳市致创科技有限公司

1、写正在前方

正在OpenAI o1刚刚搁出去时，它无限的技能讲述里，有2个内乱容分外抓人眼球：

Inference/test-time scalingRL

尔从来是把那2者分解为二个自力的个别，正在那个底子上，其时尔给出了少许对于o1达成思绪的料想（https://zhuanlan.zhihu.com/p/773907223）：

尔觉得o1走的多是上述framework3的道路，归纳来讲：

Inference/test-time scaling：那1块的重要感化是为RL进程主动化天制作下量量数据散。包含用于format模子发作思索进程的long cot数据散，和带preference labels的数据散。尔把那1块的体系笼统为PRM + some search methods的方式。比方议论度很下的MCTS，素质上也可懂得为 fixed PRM + some search methods。RL：那局部应当便是openAI本身惯有的1套RL淌程。正在如许的练习框架停，终究推理时能否要再次引进inference-time scaling模块，便是1个可选项了。只需RL进程干得充满佳，那末曲交用训完的policy模子便能够，全部没有须要再干劣化。

那末，尔为何其时会觉得 inference-time scaling 战 RL 应当是2个自力的进程呢？原因正在尔的认知里，尔以为借使不隐式的指导，模子是没有完备发作long cot（以至带深思的cot）的本领的（正在模子练习始期，那个本领是指formatting模子，让它晓得要产出这类花样的归问；正在练习进程中再去逐步提高这类归问的量量）那个表现指导便是指诸如sft如许的进程。因而正在那个认知里，下面的2个进程便应当是自力的。

而尔第1次觉察如许的认知大概有题目，是正在尔浏览白杉对于openAI的访道中，正在那个万字少文里，有1句话分外引发尔的乐趣，尔其时把它划了出去：

那句话的趣味是：不工资的决心为之，模子正在某种练习进程中自觉呈现了深思的举止。而若是那1面皆是能杀青的，那能否表示着不工资的决心为之，模子原来也齐备爆发long cot的本领呢？

假若是如许的话，那末o1大概除数据工程 + 惯常的RL本领中，全部体系要比念的复杂好多。然而尔的火仄无限，其实没有晓得除隐式指导中，模子奈何大概自觉爆发如许的本领呢？

而曲到头几天，又是蹭着热门读到了dpsk-r1的那篇技能讲述，尔那停才挖掘：本去纯净的RL便能够勉励模子产出带有long cot（以至是深思）的归复的本领！（大概正在此之前已有许多钻研展现了那面，是尔对于那1块的follow-up太少了，的确曲到随着热门读了dpsk-r1，才发掘了那面）。那里容易的RL是指：尔并不隐式供给少许实正的long cot数据让模子来背来教，尔不过正在sys_msg里通知模子先思索，再归问。交着经由过程RL1轮又1轮的练习，模子产出的responses愈来愈少，且正在某个时辰呈现了自尔评价战深思的活动。那个实行探究便是dpsk-r1-zero正在干的工作。

若是RL有这类本领，那末inference time scaling 战 RL 便能够没有是2个自力的进程，而是正在RL的进程里自觉呈现了inference time scaling的征象，而即使它们没有再自力，那末类o1的练习架构大概便比尔们念得要复杂好多。

底本尔不过抱着逃热门的心态扫1停dpsk r1，尔乃至出挨算瞧完它的tech report。不外起首对于dpsk-r1-zero的实行论断1停吸收了尔，因此把主题内乱容复杂记载停，尔会着重练习淌，略来评价。（那边的要点其实不正在于议论甚么途径是对于的、甚么是错的，不过对于尔来讲浮现1种大概）。

两、DeepSeek-R1-Zero

正在dpsk r1的那篇讲述里，提到了2个模子，别离是 DeepSeek-R1-Zero 战 DeepSeek-R1，归纳去瞧：

zero算是1个实行性子的模子，正在zero上没有经由过程一切sft的体例，仅应用RL + 划定规矩RM，便能引发模子产出带深思的long cot。那个紧张的实行创造入1步开导了r1的练习。

r1是蒙到zero RL相干的实行了局开导，而新训的终究版的模子。zero所采纳的RL办法（便甚么样的RL能鼓励模子自动产出long cot，乃至是深思）将被 r1 参照。

底下复杂记载停二者的练习细节。

2.1 深化进修办法

dpsk家的GRPO，没有是文原存眷的核心，久略。

2.2 嘉奖模子-划定规矩式RM

正在练习DeepSeek-R1-Zero时，采纳了鉴于划定规矩的嘉奖体系，重要包含二品种型的嘉奖：

（1）正确性嘉奖（Accuracy Rewards）用于评价模子responses的正确性。比方数教题目的谜底能否精确，代码能否经由过程尝试用例等。

（2）花样嘉奖（Format Rewards）

感化：除正确性嘉奖模子中，借须要评价模子的输入能否顺从了必定的花样恳求，以此标准模子的头脑进程。详细请求：条件模子将其头脑进程搁正在‘’战‘’标签之间。这类花样化有帮于明了模子的推理步调。

（3）为何没有应用神经收集式的RM？

Reward Hacking练习资本取庞杂性2.3 RL数据的prompt设想

为了练习DeepSeek-R1-Zero，尔们起首设想了1个复杂的模板，指点底子模子遵照尔们指定的指令：

从中能够望出，那个模版便是sys_msg + question，全体行动prompt那里没有是道用sft，而是道曲交用那个prompt喂给base模子（便是actor），共时因为RM是划定规矩式的，没有须要用数据练习了，因此交停去便能够平常走rlhf进程了。

模版以下：

2.4 对于zero的紧张论断

战此外模子的本能比拟那里略来，复杂先容1停关于R1 zero本能紧张的几个论断：

r1 zero证实了无需sft，曲交用base model干RL，一经能够与得壮大的reasoning本领。

应用大都抛票计谋（比方对于1条prompt采样屡次，与呈现次数最多的谁人谜底）能够入1步加强模子职能。

跟着练习steps的扩展，r1 zero方向于产出更少的response（long cot），而且借呈现了深思行动。那些皆是正在不中部干涉干与的环境停，r1 zero模子正在练习中自尔入化的了局。

response的少度跟着练习岁月增补而变少（思索得更多了）r1 zero天然而然教会了从头评价战深思2.5 zero的缺点可读性好多种说话混杂

因而交停去探究deepseek r1，那是自力于r1 zero的正式练习淌程了。能够道，r1 zero的练习是1个探究性的进程，它考证了RL自身对付鼓舞模子形成推理的本领。正在那个探究论断上，最先正式入进r1的练习。

3、DeepSeek-R1

r1的练习整体练习进程以下：

从base模子最先：应用量少、量量下的热开动数据(cold data)去sft base模子，使得base模子能够有个优良的始初化应用RL升迁模子的推理本领正在RL阶段逼近支敛时，用那个时分的checkpoint死成下量量的数据，将它们取现有的sft数据混杂，创造新的sft数据散再次从base模子最先：应用新创立的sft数据散干finetune施行两阶段RL获得终究的r13.1 应用热开动数据干sft热开动数据搜集的办法以下（同搜集约千条）：few_shot：用带有long cot的例子行为few_shot，指导模子死成归问（指导的是base模子）曲交正在prompt中，恳求模子死成带有深思战考证的归问（指导的也是base模子）搜集前方对于r1 zero的个人了局应用人造对于数据干少许后处置末了，尔们诉求热开动数据顺从必定的数据花样：|special_token|<reasoning_process>|special_token|<summary>应用那千条热开动数据，对于base模子停止sft。3.2 热开动sft后的RLRM测量的内乱容有2圆里（望神情也是划定规矩式的）：言语混杂题目：那里RM正在挨分时，也要对于说话分歧性停止挨分（谋略方针谈话辞汇的比率）谜底的正确性而后持续干近似于r1 zero的RL进程3.3 建树新的sft数据散

那里新的sft数据散去自二个圆里，1同约80w条。

1. 以后正正在练习的模子产出的了局（reasoning data）

与RL亲近支敛时的checkpoint机关prompt模版，应用回绝采样的体例去挑选轨迹数据。正在判定1条轨迹能否应当保存时，除应用之前划定规矩式的RM，借会引进deepseek v3做判定（例如那条轨迹所指背的谜底战v3的了局能否分歧）。引进多个判定规范的目标是为了更佳扩大数据散，包管百般性（那是尔猜的）末了正在干少许过滤，那局部搜集约60w条新sft数据散

2. 没有是以后正正在练习的模子产出的了局(no reasoning data)

仍然有的下量量sft数据散(dpsk v3干sft的数据散)经由过程prompt指导deepseek v3产出的有cot的数据散等那个人年夜约搜集了20w3.4 应用新的sft数据散持续finetune，并干RL

再次归到base模子上，起首用那80w的新数据对于它干2个epoch的sft。

交着施行2个阶段的RL：

第1阶段RL：旨正在加强模子推理圆里的本领。采纳近似r1 zero的RL办法，应用鉴于划定规矩的RM，对于模子停止RL练习，以擢升模子正在数教、代码战逻辑圆里的推理本领。（那里用的数据散应当没有是那80w，是近似于zero曲交建立prompt）

第2阶段RL：旨正在针对于模子的helpfulness战 harmlessness，近似于dpsk v3的练习pipeline

3.5 为何另有sft的进程

当您考察下面对于r1的二个阶段练习时，您会浮现它们依旧用到了sft，显示正在：

正在第1阶段，应用千条热开动数据干sft，那千条热开动数据皆是带有long cot的reasoning data正在第2阶段，应用约80w条新的数据干sft，那里有60w reasoning data战20w general data。

那末您瞅大概会有如许的疑难：倘使借用sft，那前方zero的实行是否是黑干了？ 既然获得了RL自身便有鼓舞模子干long cot战深思的本领，那要sft做嘛？那岂没有是战动手所道的RL中完成inference time scaling有盾盾吗？

那里道1停尔的融会：

起首，整体去瞅，sft的感化是为了让模子具有1个美的练习开始。详细来讲，正在热开动阶段，您不过用了千条数据干sft罢了；正在第2阶段，固然应用了80w那1较大都量的数据，但那波数据的应用是1次性的，您没有须要让那个进程连接正在RL on-policy练习的每一个step。并且比拟于设想1个庞杂自力的inference体系，它的死成是简单的。那里干的工作不外是让模子具有康健的练习起始。而正在具有那个开始以后，更强的推理战深思本领，则是靠RL去干，那恰是授到zero的开导。4、蒸馏dense模子

应用以上80w数据，对于llama战qwen系的片面dense模子干sft，而后检测那些模子的推理本领。

论断：对付小模子，没有须要依旧RL，只用蒸馏便能够使得其推理本领获得昭著提高（看待年夜模子会是怎样的，那里不提）

入技能交换群请加添AINLP小帮脚Wechat（id: ainlp2)

请备注详细偏向+所用到的相干技能面

对于AINLP

AINLP 是1个趣味有AI的天然言语处置社区，埋头于 AI、NLP、呆板进修、深度进修、推举算法等相干技能的瓜分，重心包含LLM、预练习模子、主动死成、文原撮要、智能问问、谈天呆板人、呆板翻译、学问图谱、推举体系、算计告白、雇用疑息、供职体味瓜分等，接待存眷！添技能交换群请加添AINLP小帮脚Wechat(id：ainlp2)，备注任务/钻研偏向+添群目标。