腾讯混元压缩端侧翻译模型 Hy-MT2-1.8B 至 440MB，已在哔哩哔哩直播弹幕翻译中落地

腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 和 1.25-bit 量化方案压缩至 574MB 和 440MB，在 FLORES-200 上表现优于 Microsoft Translator 等商业 API，翻译质量几乎无损。该模型已联合英特尔完成 x86 适配，并落地于哔哩哔哩直播弹幕实时翻译，单条弹幕翻译耗时 500~800ms。

端侧翻译模型通常受限于体积和速度，难以兼顾质量。Hy-MT2 通过量化压缩至 440MB 且能保持高翻译质量，同时完成 x86 适配并落地于实时弹幕翻译场景，表明端侧 AI 翻译已具备商业实用性和实时性，可能改变直播、视频等场景的翻译部署方式。

量化技术通过降低模型参数位宽（如从 16-bit 降至 2-bit/1.25-bit）来减小模型体积和内存占用，同时通过优化尽量减少精度损失。落地依赖计算优化（如英特尔 x86 适配）来保证推理速度，从而满足直播弹幕的实时性要求。

对哔哩哔哩而言，直播弹幕翻译可直接在端侧实现，降低云端成本并减少延迟；对腾讯混元，该模型可嵌入更多实时翻译产品，提升竞争力。对研发启示是量化方案可在不损失质量下大幅压缩模型，有助于中小型设备上部署高性能翻译。

• 在直播、视频会议等实时场景中集成该模型，提供端侧实时字幕翻译，降低云端依赖和延迟。
• 将压缩后的模型用于移动端翻译 App 或浏览器插件，实现离线或低流量翻译。
• 与芯片厂商合作，针对 ARM 和 x86 平台优化，扩大端侧部署范围。
• 探索将量化压缩技术推广到其他 NLP 模型，如语音识别或摘要，提升端侧能力。

• 模型在非中文-英文语言对上的翻译质量与商业化 API 相比如何？
• 量化到 440MB 后，在低端移动设备上的实际推理速度和内存占用是否仍能满足要求？
• 是否已有哔哩哔哩之外的落地案例或公开的商业模式？
• 当前模型是否有授权或开源计划？