什么是RFT训练

RFT（Reinforcement Fine-Tuning）

RFT将RL（对Agent的输出打分，基于打分迭代训练）和Fine-tuning的技术相结合。 RLHF同样也是需要人工反馈和Reward Model的训练将反馈转化为Reward信号。但是对于RFT来说，依赖Grader来分配Reward信号，帮助模型选择答案。流程如下：

Grader通过比较模型的Response和Reference对模型打分（0-1）。 因此，这也解释了RFT需要更少数据的原因（几十条便可取得不错的效果）。 模型主要是找到产生我们想要的输出的模式，而不是直接生成输出，这样泛化性更强。

优势

• 数据准备快速：不需要人工标注偏好数据。
• 效率更高：模型自动寻找输出的最优值。

工作步骤

RFT调优包括两个步骤：

1、数据集收集：Prompt+Response数据。参考：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/yliu6bqzw

2、模型优化训练：基于预置模型RFT训练，并通过调整训练参数，优化模型输出。