基于评分标准奖励的强化学习实现LLM作文评分与反馈生成

论文提出RLAES框架，利用强化学习联合优化作文评分与自动反馈生成。引入基于166个二值评分细则的反馈评估框架RFE，以及按需激活奖励的AGFO和相邻分数对比推理ACR。在ASAP基准上，评分性能达到LLM方法中的最优（QWK=0.803），反馈质量与GPT-5.5相当，且避免了仅用评分强化学习导致的反馈退化。

此前作文评分与反馈生成主要依赖提示工程或监督微调，缺乏对强化学习后训练和反馈质量自动评估的系统研究。该方法首次将强化学习应用于联合优化，并引入可解释的评分细则框架衡量反馈质量，为自动评估提供了新范式。

RFE将反馈质量分解为166个二值评分项，由LLM裁判评分，作为强化学习的可解释奖励信号。AGFO仅在需要时激活评分项，降低计算开销；ACR通过对比相邻分数级别的表示，优化评分排序一致性，从而提升评分精度和反馈质量。

产品可将该框架集成到在线批改系统中，实现评分与个性化反馈的自动化，降低人工成本。但需注意，仅用评分奖励会损害反馈质量，需同时使用RFE奖励；框架依赖166个评分细则，初始构建需领域专家参与。

• 开发面向K-12或英语考试的自动作文批改API，按字数或调用量收费
• 为在线教育平台提供支持实时反馈的评分模块，提升学生学习效率
• 与考试机构合作，定制符合特定评分标准的反馈生成工具

• 166个二值评分细则的通用性如何？不同作文类型是否需要重新设计？
• 该方法在非英语作文或长文本场景下是否同样有效？
• 与人类评分员的一致性在真实教学环境中能否达到实用水平？
• AGFO的按需激活机制在低资源设备上的部署效率如何？