跳到主要内容

语音翻译

语音翻译功能可以让您在 VR 中像看字幕一样,实时听懂游戏内或语音通话里别人说的话,同时也能把您自己的声音实时翻译给他人。它完全基于本地运行,无需上传音频,隐私安全。

功能简介

语音翻译会同时采集并识别两条音频流,并分别进行独立翻译:

  • 扬声器通道(回环采集):采集游戏内、语音通话中、会议中他人发出的声音,识别后翻译成您的母语,叠加显示在眼前,实现"实时字幕"效果。
  • 麦克风通道:采集您自己说出的话,识别后翻译成目标语言(如英语),方便在多语言社交(如 VRChat)中与外国玩家交流。

灯光通道的识别语言、翻译语言、显示样式均可独立配置,互不干扰。

工作原理

语音翻译由主程序和一个独立的 ASR(自动语音识别)工作进程协同完成:

  1. 主程序通过命名管道与 ASR 子进程通信,采集麦克风和扬声器(系统回环)音频。
  2. ASR 子进程使用 Silero VAD 进行实时语音活动检测,自动切分一句话的起止。
  3. 检测到的语音片段交给 Qwen3-ASR 模型(基于 llama.cpp 的纯 CPU 推理)在本地转写为文字。
  4. 转写结果再交由翻译引擎翻译(支持本地翻译模型,或您配置的自定义翻译 API),随后在主程序叠加层中实时显示。

整个过程全部在您本机完成,音频不会离开您的电脑。

音频来源

  • 麦克风:采集您自己的声音。设备列表中会列出可用的输入设备。
  • 扬声器(回环采集 loopback):采集系统正在播放的声音,即游戏或语音通话中对方发出的声音。

语音翻译设置页面的"音频设备设置"卡片中,可以为麦克风和扬声器分别选择具体设备(点击"刷新设备列表"可重新枚举可用设备)。

自动语种识别

语音识别语言默认设为"自动",此时 ASR 会自行判断当前说话的语种,无需手动切换。您也可以在设置中为扬声器和麦克风分别指定固定的识别语言,以提升特定语种下的识别准确率。

流式输出

开启"模拟流式输出"后,识别结果会以约每秒一次的增量实时显示出来(先出中间结果,最终结果稳定后再替换),让显示更像实时字幕;关闭时则等一句话识别完成后一次性地完整显示。可在语音翻译设置中随时切换。

暂停与恢复

在语音翻译模式下,短按一次扳机键即可暂停 / 恢复语音识别。暂停时模型仍保留在内存中,恢复时无需重新加载,速度很快。移动左手或右手摇杆可清除当前显示的语音翻译结果。

详细的模式下操作节奏,请通过软件内置的 VR 分步教学 熟悉。

翻译引擎选择

语音翻译的翻译引擎有两种模式可选:

  • 本地:使用随附的 Hy-MT2 本地翻译模型进行离线翻译,无需联网、无需 API 密钥,完全本地运行。本地模型默认在空闲 30 秒后自动卸载以释放内存,下次需要时再按需加载。
  • 自定义:使用您自己的 API 密钥接入第三方翻译服务(通用机器翻译或 LLM 大模型),可获得更丰富的语言与质量选择。

注意:语音翻译目前不支持"内置翻译服务"模式,仅支持本地或自定义模式。请在"翻译引擎"页面的"语音翻译引擎设置"卡片中配置。

VRChat Chatbox 发送

开启后将语音翻译结果通过 OSC 协议自动发送到 VRChat 的 Chatbox 聊天框,让您的翻译实时显示在 VRChat 界面中。支持分别控制:

  • 是否发送扬声器(对方说话)的译文
  • 是否发送麦克风(您自己说话)的译文
  • OSC 端口(VRChat 默认接收端口为 9000
  • 消息模式:对照模式(译文在上、原文在下)或仅译文模式
  • 消息留存条数(1 ~ 10 条)

受 VRChat Chatbox 限制,单条消息最多约 135 个字符、最多 9 行,超长内容会自动换行;两次发送之间也有最小间隔,以保证聊天框稳定显示。

内存要求

  • 语音识别模型:选择"快速(0.6B)"约需要 2.5 GB 可用内存;选择"高精度(1.7B)"约需要 3 GB 可用内存。若系统可用内存不足,会给出提示并跳过加载。
  • 本地翻译模型(Hy-MT2):启用本地翻译时会在需要时额外加载模型,请您预留足够的可用内存。

CPU 推理核心数可在设置中调节(范围 1 ~ 设备核心数,默认 4),更高的核心数会提升识别与翻译速度,但同时会占用更多计算资源。

使用步骤

  1. 确保已安装并启动软件,VR 设备运行中。
  2. 基础设置中开启"启动时自动开启语音翻译"(或运行后在语音翻译模式下手动开启)。
  3. 翻译引擎页面的"语音翻译引擎设置"中,选择本地或自定义翻译引擎并完成配置。
  4. 语音翻译设置页面确认麦克风与扬声器设备、识别语言与翻译语言均已正确设置。
  5. 在 VR 中(语音翻译模式下)长按扳机约 1 秒开启语音翻译,即可实时看到对方或自己的译文;短按扳机可暂停 / 恢复识别。

更详细的设置项说明,请参阅 语音翻译设置