用可渲染程序实现多模态思考

一篇 arXiv 论文提出 SVGLM 框架，用 SVG 图元把文字与图像连接在同一推理链路中，使通用 VLM 能在推理过程中生成图像。该工作利用 SVG 兼具图像描述与文本指令的双重属性，并给出基于 SVG 的图像编辑数据集与开源 VLM 微调范式；在数学推理基准上，SVGLM 同时展现出较强的 SVG 生成能力与“以图思考”能力。

此前视觉语言模型主要把图像当作输入来理解，图像难以进入推理链；Omnimodal 模型虽统一文本与图像生成，但依赖栅格化或隐表示，过程不可追踪。SVGLM 把图像改为可读、可编辑的 SVG 代码参与推理，使图像生成步骤可解释、可检查，为数字域智能体提供新路径。

SVG 同时是可渲染的图像，也是结构化的文本指令，因此模型可以像生成代码一样生成图像，并把生成结果作为推理中间状态继续使用。相比栅格或潜变量表示，向量图元更紧凑、可解析，便于与文本推理步骤交替衔接，并通过微调把这一能力注入开源 VLM。

若该范式成立，产品可把图表、示意图、几何图等中间产物以代码形式生成并校验，降低对图像生成模型的像素级依赖，也便于版本管理与自动化测试。研发上需要建立 SVG 数据集与微调流程，并把可渲染输出纳入 agent 的执行与回放环节。

• 在教育或解题类产品中，把解题过程输出为可编辑 SVG 图，供用户查看和修改中间步骤。
• 为数据标注团队设计 SVG 编辑数据集生产管线，用于微调自有 VLM 的图文推理能力。
• 在数字域 agent 中引入 SVG 生成与渲染校验环节，把图像产物纳入自动化回归测试。

• 论文在数学推理基准上的具体评测指标和对比基线未在证据中给出。
• SVG 生成失败或渲染不一致时的容错与纠错机制尚未说明。
• 该方法在开放域视觉任务中是否仍具优势，证据未涉及。
• 数据集规模、构建成本与开源许可情况不明。