跳到主要内容

语音翻译

语音翻译功能可以让您在 VR 中像看字幕一样，实时听懂游戏内或语音通话里别人说的话，同时也能把您自己的声音实时翻译给他人，并可用内置的语音合成（TTS）把译文朗读出来。语音识别与本地翻译均在本机运行，无需上传音频，隐私安全。

功能简介​

语音翻译会同时采集并识别两条音频流，并分别进行独立翻译：

  • 扬声器通道（回环采集）：采集游戏内、语音通话中、会议中他人发出的声音，识别后翻译成您的母语，叠加显示在眼前，实现"实时字幕"效果。
  • 麦克风通道：采集您自己说出的话，识别后翻译成目标语言（如英语），方便在多语言社交（如 VRChat）中与外国玩家交流。

两条通道的识别语言、翻译语言、显示样式均可独立配置，互不干扰。麦克风通道还支持语音合成朗读，把译文直接播放给他人听。

工作原理​

语音翻译由主程序和一个独立的 语音工作进程协同完成：

  1. 主程序通过命名管道与子进程通信，采集麦克风和扬声器（系统回环）音频。
  2. 子进程使用 Silero VAD 进行实时语音活动检测，自动切分一句话的起止。
  3. 检测到的语音片段交给 Qwen3-ASR 模型（基于 llama.cpp 推理）转写为文字；也可切换为在线识别服务。
  4. 转写结果交由翻译引擎翻译（支持本地翻译模型，或您配置的自定义翻译 API），随后在主程序叠加层中实时显示。
  5. 若开启语音合成（TTS），麦克风通道的译文会由 Qwen3-TTS 模型合成为语音并播放。

本地识别与本地翻译全程在您本机完成，音频不会离开您的电脑。

音频来源​

  • 麦克风：采集您自己的声音。设备列表中会列出可用的输入设备。
  • 扬声器（回环采集 loopback）：采集系统正在播放的声音，即游戏或语音通话中对方发出的声音。
    • 采集源可选"系统"（整机回采）或指定应用程序。部分耳机 / 声卡设备无法整机回采系统音频时，可在"选择应用程序"中指定具体程序，仅采集该程序的音频。已保存的程序即使当前未运行也会保留在选项中，待其重新运行时自动生效。

在语音翻译设置页面的"音频设备设置"卡片中，可以为麦克风和扬声器分别选择具体设备。设备列表由子进程自动枚举并定时刷新，无需手动刷新。

自动语种识别​

语音识别语言默认设为"自动"，此时 ASR 会自行判断当前说话的语种，无需手动切换。您也可以在设置中为扬声器和麦克风分别指定固定的识别语言，以提升特定语种下的识别准确率。

语音翻译的翻译源语言固定为"自动"，即由翻译引擎根据识别出的文字自动判定语种，设置中不再提供源语言选择入口；您只需为每条通道指定翻译目标语言。

实时音量监控与阈值​

"音频设备设置"卡片中，麦克风与扬声器设备下方各有一条实时音量条：

  • 音量条实时显示当前采集到的声音电平，越过阈值时填充变绿，表示判定为有效语音。
  • 音量条上的红色阈值线可直接拖动（或点击定位），右侧的"↺"按钮可将阈值恢复默认。
  • 若音量条没有反应，请确认语音翻译已开启——只有开启语音翻译后才能监听实时音量。

合理设置阈值可有效避免环境底噪被误判为语音，减少无意义的识别与翻译。

流式输出​

开启"模拟流式输出"后，识别结果会以约每秒一次的增量显示出来（先出中间结果，最终结果稳定后再替换），让显示更像实时字幕；关闭时则等一句话识别完成后一次性地完整显示。可在翻译引擎页面的"ASR设置"卡片中随时切换（开启时会先弹出确认提示）。

暂停与恢复​

在语音翻译模式下，短按一次扳机键即可暂停 / 恢复语音识别。暂停时模型仍保留在内存中，恢复时无需重新加载，速度很快。移动左手或右手摇杆可清除当前显示的语音翻译结果。

另外，在语音翻译模式下靠近耳朵时按手柄的 A / X 键，可快速切换麦克风通道的开关。

详细的模式下操作节奏，请通过软件内置的 VR 分步教学 熟悉。

翻译引擎选择​

语音翻译的翻译引擎有两种模式可选：

  • 本地：使用随附的 Hy-MT2 本地翻译模型进行离线翻译，无需联网、无需 API 密钥，完全本地运行。本地模型默认在空闲 30 秒后自动卸载以释放内存，下次需要时再按需加载。
  • 自定义：使用您自己的 API 密钥接入第三方翻译服务（通用机器翻译或 LLM 大模型），可获得更丰富的语言与质量选择。

注意：语音翻译目前不支持"内置翻译服务"模式，仅支持本地或自定义模式。请在"翻译引擎"页面的"语音翻译引擎设置"卡片中配置。

语音识别与语音合成的引擎模式​

除翻译引擎外，语音识别（ASR）与语音合成（TTS）也各自支持两种引擎模式，均在"翻译引擎"页面配置：

  • 本地（默认）：使用随附的本地模型离线推理，不产生网络流量。
  • 自定义：接入在线服务（当前支持阿里百炼 DashScope）。可选择"实时"或"非实时"模型预设，也可手动填写模型名与 API URL；未填写 API Key 时界面会给出提示。

选择在线识别 / 在线合成后，无需下载本地模型，可显著降低磁盘与内存占用，但需要联网并消耗相应服务的调用额度。

语音合成（TTS）​

开启"开启语音合成(TTS)"后，麦克风通道的译文会被合成为语音并朗读出来，方便对方直接听到翻译结果。相关设置位于语音翻译设置页面的"语音合成（TTS）"卡片与翻译引擎页面的"TTS设置"卡片：

  • 音色：默认（随机）以及女声 A / 女声 B / 男声 A / 男声 B 等内置音色。
  • 声音克隆：点击"麦克风克隆"或"扬声器克隆"按钮采集人声，累计约 10 秒后自动保存为"自定义（克隆）"音色。请使用干净的单人连续人声。
  • TTS 实时流式播放：开启后边推理边播放，延迟更低；关闭则完整合成后一次性播放。
  • 播放输出设备 / 播放音量：指定朗读音频的输出设备与音量。
  • 扬声器同步播放：开启后 TTS 音频会同步送往音频设置中的扬声器设备（同步播放期间扬声器通道的识别会自动抑制，防止把自己的译文又识别回来）。
  • 麦克风直通：未开启 TTS（或语音翻译关闭 / 暂停）时，把麦克风采集直接转发到 TTS 播放设备，使游戏内麦克风无需频繁切换设备。

虚拟声缆：若希望把朗读音频送进游戏内的麦克风，需要安装第三方虚拟音频驱动 VB-Audio Virtual Cable。配置要点：播放输出设备选择 CABLE Input，游戏内的麦克风设备选择 CABLE Output。

提示：TTS 使用 GPU 推理时当前存在显存占用明显增大的问题（可能占用约 6.5 GB 显存），切换到 GPU 前会弹出确认提示，请谨慎选择。

VRChat Chatbox 发送​

开启后将语音翻译结果通过 OSC 协议自动发送到 VRChat 的 Chatbox 聊天框，让您的翻译实时显示在 VRChat 界面中。支持分别控制：

  • 是否发送扬声器（对方说话）的译文
  • 是否发送麦克风（您自己说话）的译文
  • OSC 端口（VRChat 默认接收端口为 9000）
  • 消息模式：对照模式（译文在上、原文在下）或仅译文模式
  • 消息流动方式：新消息显示在向上或向下方向
  • 消息留存条数（1 ~ 10 条）

受 VRChat Chatbox 限制，单条消息最多约 135 个字符、最多 9 行，超长内容会自动换行；两次发送之间也有最小间隔，以保证聊天框稳定显示。

推理设备与性能​

语音识别、本地翻译与语音合成均可在翻译引擎页面选择推理设备：

  • CPU（默认）：兼容性最好；此时可调节推理核心数（范围 1 ~ 设备核心数，默认 4），核心数越高速度越快，但占用更多计算资源。
  • GPU：选择由子进程通过 Vulkan 枚举出的显卡（核显 / 独显，显示设备实际名称）。选择 GPU 后推理核心数不再参与运算，对应滑块会自动隐藏。

内存要求​

  • 语音识别模型：选择"快速（0.6B）"约需要 2.5 GB 可用内存；选择"高精度（1.7B）"约需要 3 GB 可用内存。若系统可用内存不足，会给出提示并跳过加载。
  • 本地翻译模型（Hy-MT2） 与 本地语音合成模型（Qwen3-TTS）：启用后会在需要时额外加载模型，请您预留足够的可用内存。

使用步骤​

  1. 确保已安装并启动软件，VR 设备运行中。
  2. 在首选项中开启"启动时自动开启语音翻译"（或运行后在语音翻译模式下手动开启）。
  3. 在翻译引擎页面的"语音翻译引擎设置""ASR设置""TTS设置"中，选择本地或自定义引擎并完成配置。
  4. 在语音翻译设置页面确认麦克风与扬声器设备、采集源、音量阈值、识别语言与翻译目标语言均已正确设置。
  5. 在 VR 中（语音翻译模式下）长按扳机约 1 秒开启语音翻译，即可实时看到对方或自己的译文；短按扳机可暂停 / 恢复识别。

更详细的设置项说明，请参阅 语音翻译设置。