用 NVIDIA NeMo Relay 与 Phoenix 追踪和评估 Hermes Agent

NVIDIA Developer 发布教程，演示如何用 NVIDIA NeMo Relay 追踪 Hermes Agent 的执行路径，从初始请求、读取文件的工具调用到最终回答，并可查看所用工具、访问数据、消耗 token 与运行成本。随后在 Phoenix 中打开 trace，审查会话、模型与工具活动及脱敏数据，sanitizer 会在追踪数据离开本机前移除个人身份信息。

此前 agent 的工具调用、数据访问和成本往往难以整体复盘，调试与评估缺少统一视图。该教程把执行路径追踪、PII 脱敏和 Phoenix 可视化串成可操作流程，使 agent 行为审查从零散日志转向可配置的标准做法。

NeMo Relay 在 agent 运行过程中记录请求、工具调用、模型活动和 token 消耗等轨迹；sanitizer 在 trace 离开本机前去除个人身份信息，降低数据外泄风险；Phoenix 作为查看端呈现会话与模型、工具活动，从而支持调试、评估与可靠性改进。

使用 Hermes Agent 的研发团队可按官方教程配置 NeMo Relay，把追踪接入现有开发流程，定位工具调用异常、数据访问范围与单次运行成本，并在不额外暴露 PII 的前提下做评估。

• 按官方 GitHub 示例，在内部 Hermes Agent 工作流中接入 NeMo Relay 追踪并验证 trace 完整性
• 在发布前用 sanitizer 检查 trace 中是否残留 PII，形成数据出机前的合规检查步骤
• 把 Phoenix 中的会话、模型和工具活动纳入 agent 回归评估指标，对比不同版本表现
• 基于 token 与运行成本字段，为高频 agent 任务建立成本监控面板

• NeMo Relay 是否支持除 Hermes 以外的其他 agent 框架
• sanitizer 的脱敏规则是否可自定义，覆盖范围有多广
• Phoenix 与 NeMo Relay 的集成是否需要额外部署或许可
• 追踪数据能否导出用于自动化评估或持续集成