ShieldCLIP：面向多模态基础模型有害内容的选择性安全对齐

arXiv 论文提出 ShieldCLIP，一种面向 CLIP 等多模态编码器的安全对齐框架。它不再按样本来源打标，而是按每个模态实际观察到的安全状态进行条件对齐，并发布含 195k 四元组、578 个概念、28 个类别且各模态独立安全标注的 ViSUv2 数据集。在跨模态检索、Stable Diffusion v1.4 与 SDXL 文生图、LLaVA 图生文任务中，该方法一致降低有害输出，同时保留原嵌入空间效用。

此前安全对齐往往把生成样本整体标记为不安全，即使其中某一模态本身安全，会误伤正常表征。ShieldCLIP 改以逐模态安全状态为条件，试图在抑制有害关联的同时不破坏原有嵌入效用，把安全与可用性的权衡从样本级细化到模态级。

该方法构建四路条件目标：安全内容作为锚点保持不变；不安全的单个模态被重定向到对应安全版本；混合安全与不安全的样本只更新不安全分支；两个模态都不安全时额外约束一致性。配合逐模态安全标签，监督信号能区分“来源可疑”与“内容确实有害”，从而只改写真正不安全的表征。

对依赖 CLIP 类编码器的检索、生成和图文系统而言，这意味着可在不重训下游模型的情况下替换编码器，降低有害输出，同时减少对正常语义空间的扰动。研发上可复用 ViSUv2 的逐模态标签做评估与微调，但需验证替换编码器后既有索引与向量是否需重建。

• 在现有图文检索或生成管线中接入 ShieldCLIP 编码器，用安全评测集对比替换前后的有害输出率与召回率，形成可量化迁移报告。
• 基于 ViSUv2 的逐模态标签建立内部安全评测基准，用于筛选第三方多模态编码器，而不是只看通用基准分数。
• 针对仅单模态不安全的混合内容设计差异化处理策略，避免对整条内容一刀切拦截，减少误杀正常素材。

• ShieldCLIP 在中文及多语言内容上的安全对齐效果是否与英文一致，尚无证据。
• ViSUv2 的 578 个概念与 28 个类别具体覆盖哪些风险类型，摘要未说明，需查看数据集细节。
• 该方法在真实生产流量与对抗性输入下是否仍保持同等抑制效果，证据不足。
• 替换编码器后下游检索与生成系统的效用损失幅度，是否有公开可复现数据支撑。