5G领域知识与故障分析的自由文本评估：使用LLM作为裁判

一份论文评估了轻量级LLM在5G网络故障分析中的自由文本诊断能力。三个模型（Claude-Haiku-4.5、GPT-5.4-Mini、Gemini-3.1-Flash-Lite）在故障诊断上均达到90%以上准确率，但3GPP和O-RAN规范的零样本召回率低于60%。多裁判LLM评分一致性达0.90以上。

现有电信大模型基准依赖选择题，缺乏对开放文本诊断的评估。此研究转向自由文本格式，验证轻量模型在边缘部署下进行深度诊断的可能，并引入多裁判机制保证评分的可重复性，为电信领域AI应用提供了新基准。

LLM-as-Judge方法通过多个前沿模型对输出进行评分，并测量评分者间一致性来确保可靠性。轻量模型在诊断任务上表现良好，但在需要精确引用3GPP/O-RAN规范时表现不佳，说明其依赖参数内知识而非检索或推理，揭示了零样本能力的局限性。

对于电信网络管理产品，可考虑将轻量模型用于自动故障诊断，提升响应效率。但基于当前证据，模型对规范细节的准确性不足，需结合检索增强生成或者人工审核，以免产生错误诊断。同时，多裁判评分框架可作为质量评估工具嵌入开发流程。

• 将轻量LLM集成到边缘网络设备，实现实时故障初诊，减少人工干预。
• 开发基于RAG的故障诊断系统，补充3GPP/O-RAN规范知识，提升零样本召回率。
• 使用多裁判LLM评分框架作为内部AI响应质量的自动化评估工具。

• 模型在真实网络环境中的故障诊断准确性尚待验证。
• 多裁判评分成本是否影响实际部署的可行性未明确。
• 轻量模型在更长诊断任务上的表现未提及。