メインコンテンツまでスキップ

音声翻訳

音声翻訳機能を使用すると、VR内で字幕を見るように、ゲーム内や音声通話で相手が話す言葉をリアルタイムで聞き取れるだけでなく、自分の声もリアルタイムで翻訳して他人に伝えることができ、内蔵の音声合成（TTS）で訳文を読み上げることもできます。音声認識とローカル翻訳はどちらもお使いのマシン上で動作し、音声をアップロードする必要がなく、プライバシーも安全です。

機能概要​

音声翻訳は2つのオーディオストリームを同時にキャプチャして認識し、それぞれ独立に翻訳します：

  • スピーカーチャネル（ループバック収集）：ゲーム内、音声通話、会議で他人が発する声を収集し、認識後に母語へ翻訳して眼前にオーバーレイ表示し、「リアルタイム字幕」を実現します。
  • マイクチャネル：自分が発した言葉を収集し、認識後に目標言語（英語など）へ翻訳します。多言語ソーシャル（VRChatなど）で外国のプレイヤーと交流する際に便利です。

両チャネルの認識言語、翻訳言語、表示スタイルはそれぞれ独立して設定でき、互いに干渉しません。マイクチャネルは音声合成による読み上げにも対応しており、訳文をそのまま相手に聞かせることができます。

動作原理​

音声翻訳は、メインプログラムと独立した音声ワーカープロセスが連携して実行します：

  1. メインプログラムは名前付きパイプで子プロセスと通信し、マイクとスピーカー（システムループバック）のオーディオを収集します。
  2. 子プロセスはSilero VADでリアルタイムに音声活動を検出し、一文の開始と終了を自動的に区切ります。
  3. 検出された音声断片はQwen3-ASRモデル（llama.cppに基づく推論）に渡されて文字へ書き起こされます。オンライン認識サービスに切り替えることもできます。
  4. 書き起こし結果は翻訳エンジンで翻訳され（ローカル翻訳モデル、または設定したカスタム翻訳APIに対応）、その後、メインプログラムのオーバーレイでリアルタイム表示されます。
  5. 音声合成（TTS）を有効にしている場合、マイクチャネルの訳文はQwen3-TTSモデルで音声に合成されて再生されます。

ローカル認識とローカル翻訳はすべてお使いのマシン上で完結し、音声はパソコンから外部へ送信されません。

音声ソース​

  • マイク：自分の声を収集します。デバイスリストには利用可能な入力デバイスが表示されます。
  • スピーカー（ループバック収集 loopback）：システムが再生中の音声、すなわちゲームや音声通話中の相手の声を収集します。
    • 収集ソースは「システム」（PC全体のループバック）または特定のアプリケーションを選択できます。一部のヘッドセット / サウンドカードデバイスでシステム音声をPC全体でループバックできない場合は、「アプリケーションを選択」で特定のプログラムを指定し、そのプログラムの音声のみを収集できます。保存したプログラムは現在実行されていなくてもオプションに保持され、再び実行されたときに自動的に有効になります。

音声翻訳設定ページの「オーディオデバイス設定」カードで、マイクとスピーカーにそれぞれ特定のデバイスを選択できます。デバイスリストは子プロセスが自動的に列挙し定期的に更新するため、手動で更新する必要はありません。

自動言語認識​

音声認識言語はデフォルトで「自動」に設定されており、この場合ASRが現在の会話言語を自動的に判断するため、手動で切り替える必要はありません。特定の言語での認識精度を向上させたい場合は、設定でスピーカーとマイクにそれぞれ固定の認識言語を指定することもできます。

音声翻訳の翻訳ソース言語は「自動」に固定されており、認識されたテキストに基づいて翻訳エンジンが言語を自動判定します。設定にソース言語の選択項目はなく、各チャネルの翻訳目標言語を指定するだけで済みます。

リアルタイム音量モニタリングとしきい値​

「オーディオデバイス設定」カードでは、マイクとスピーカーの各デバイスの下にリアルタイム音量バーがあります：

  • 音量バーは現在収集されている音声レベルをリアルタイムに表示し、しきい値を超えると緑色に塗りつぶされ、有効な音声と判定されたことを示します。
  • 音量バー上の赤いしきい値ラインは直接ドラッグ（またはクリックして位置指定）でき、右側の「↺」ボタンでしきい値をデフォルトに戻せます。
  • 音量バーが反応しない場合は、音声翻訳がオンになっていることを確認してください。音声翻訳をオンにした後でのみ、リアルタイム音量を監視できます。

しきい値を適切に設定すると、環境ノイズが音声と誤判定されるのを効果的に防ぎ、無意味な認識と翻訳を減らせます。

ストリーミング出力​

「ストリーミング出力を模擬する」を有効にすると、認識結果が約1秒間隔のインクリメントで表示されます（まず中間結果が表示され、最終結果が安定した後に置き換えられます）。表示がよりリアルタイム字幕らしくなります；無効にすると、一文の認識完了後に一括で完全に表示されます。翻訳エンジンページの「ASR設定」カードでいつでも切り替えられます（有効にする際には先に確認プロンプトが表示されます）。

一時停止と再開​

音声翻訳モードで、トリガーを1回短押しすると一時停止 / 再開できます。一時停止時もモデルはメモリに保持されるため、再開時に再ロードする必要がなく、高速です。左手または右手のジョイスティックを傾けると、現在表示されている音声翻訳結果をクリアできます。

また、音声翻訳モードで耳に近づけた状態でコントローラーのA / Xキーを押すと、マイクチャネルのオン/オフをすばやく切り替えられます。

モードでの詳細な操作リズムは、ソフトウェア内蔵のVR分步教学で慣れてください。

翻訳エンジンの選択​

音声翻訳の翻訳エンジンは2つのモードから選択できます：

  • ローカル：付属のHy-MT2ローカル翻訳モデルを使用してオフライン翻訳します。ネットワーク接続もAPIキーも不要で、完全にローカルで動作します。ローカルモデルはデフォルトで30秒アイドル状態が続くと自動的にアンロードされてメモリを解放し、次回必要なときに必要に応じて再ロードされます。
  • カスタム：自分のAPIキーを使用してサードパーティの翻訳サービス（汎用機械翻訳またはLLM大規模モデル）に接続し、より豊富な言語と品質の選択肢を得られます。

注意：音声翻訳は現在、「内蔵翻訳サービス」モードをサポートしていません。ローカルモードまたはカスタムモードのみ対応です。「翻訳エンジン」ページの「音声翻訳エンジン設定」カードで設定してください。

音声認識と音声合成のエンジンモード​

翻訳エンジンに加えて、音声認識（ASR）と音声合成（TTS）もそれぞれ2つのエンジンモードに対応しており、いずれも「翻訳エンジン」ページで設定します：

  • ローカル（デフォルト）：付属のローカルモデルでオフライン推論し、ネットワークトラフィックを発生させません。
  • カスタム：オンラインサービス（現在は阿里百煉 DashScopeに対応）に接続します。「リアルタイム」または「非リアルタイム」のモデルプリセットを選択でき、モデル名とAPI URLを手動で入力することもできます。APIキーが未入力の場合は、インターフェースにプロンプトが表示されます。

オンライン認識 / オンライン合成を選択すると、ローカルモデルをダウンロードする必要がなくなり、ディスクとメモリの使用量を大幅に削減できますが、ネットワーク接続が必要で、対応するサービスの呼び出し枠を消費します。

音声合成（TTS）​

「音声合成(TTS)を有効化」をオンにすると、マイクチャネルの訳文が音声に合成されて読み上げられ、相手が翻訳結果を直接聞けるようになります。関連する設定は、音声翻訳設定ページの「音声合成（TTS）」カードと翻訳エンジンページの「TTS設定」カードにあります：

  • 音色：デフォルト（ランダム）のほか、女声A / 女声B / 男声A / 男声Bなどの内蔵音色。
  • 声音克隆：「マイククローン」または「スピーカークローン」ボタンをクリックして人の声を収集し、累計約10秒で自動的に「カスタム（クローン）」音色として保存されます。クリーンな単一話者の連続した声を使用してください。
  • TTSリアルタイムストリーミング再生：有効にすると推論しながら再生し、遅延が低くなります；無効にすると完全に合成してから一括再生します。
  • 再生出力デバイス / 再生音量：読み上げ音声の出力デバイスと音量を指定します。
  • スピーカー同期再生：有効にすると、TTS音声がオーディオ設定のスピーカーデバイスにも同期して送られます（同期再生中はスピーカーチャネルの認識が自動的に抑制され、自分の訳文を再び認識してしまうのを防ぎます）。
  • マイクパススルー：TTSが無効（または音声翻訳がオフ / 一時停止中）の場合、マイクの収集音をTTS再生デバイスへ直接転送し、ゲーム内マイクが頻繁にデバイスを切り替える必要をなくします。

仮想オーディオケーブル：読み上げ音声をゲーム内マイクへ送りたい場合は、サードパーティ製の仮想オーディオドライバVB-Audio Virtual Cableをインストールする必要があります。設定のポイント：再生出力デバイスにCABLE Input、ゲーム内マイクデバイスにCABLE Outputを選択します。

ヒント：TTSはGPU推論を使用すると現在、VRAM使用量が明らかに増加する問題があります（約6.5GBのVRAMを消費する可能性があります）。GPUへ切り替える前に確認プロンプトが表示されるため、慎重に選択してください。

VRChat Chatbox送信​

有効にすると、音声翻訳結果をOSCプロトコルで自動的にVRChatのChatboxチャットボックスへ送信し、翻訳をVRChatのインターフェースにリアルタイム表示できます。個別に制御できます：

  • スピーカー（相手の発言）の訳文を送信するかどうか
  • マイク（自分自身の発言）の訳文を送信するかどうか
  • OSCポート（VRChatのデフォルト受信ポートは9000）
  • メッセージモード：対照モード（訳文が上、原文が下）または訳文のみモード
  • メッセージの流れる方向：新しいメッセージを上または下の方向に表示
  • メッセージ保持件数（1〜10件）

VRChat Chatboxの制限により、1つのメッセージは最大約135文字、最大9行で、長すぎる内容は自動的に改行されます；また、送信間にも最小間隔があるため、チャットボックスを安定して表示できます。

推論デバイスとパフォーマンス​

音声認識、ローカル翻訳、音声合成はいずれも翻訳エンジンページで推論デバイスを選択できます：

  • CPU（デフォルト）：互換性が最も高いです。この場合、推論コア数を調整できます（範囲1〜デバイスのコア数、デフォルト4）。コア数が多いほど高速ですが、より多くの計算リソースを使用します。
  • GPU：子プロセスがVulkanで列挙したグラフィックカード（内蔵 / 外付け、デバイスの実際の名前を表示）を選択します。GPUを選択すると推論コア数は計算に使用されなくなり、対応するスライダーは自動的に非表示になります。

メモリ要件​

  • 音声認識モデル：「高速（0.6B）」を選択すると約2.5GBの空きメモリが必要です；「高精度（1.7B）」を選択すると約3GBの空きメモリが必要です。システムの空きメモリが不足している場合は、プロンプトが表示され、ロードをスキップします。
  • ローカル翻訳モデル（Hy-MT2）とローカル音声合成モデル（Qwen3-TTS）：有効にすると必要に応じてモデルが追加でロードされるため、十分な空きメモリを確保してください。

使用手順​

  1. ソフトウェアがインストールされ起動していること、VRデバイスが動作中であることを確認します。
  2. 環境設定で「起動時に自動で音声翻訳を有効化」をオンにします（または実行後に音声翻訳モードで手動でオンにします）。
  3. 翻訳エンジンページの「音声翻訳エンジン設定」「ASR設定」「TTS設定」で、ローカルまたはカスタムエンジンを選択して設定を完了します。
  4. 音声翻訳設定ページで、マイクとスピーカーデバイス、収集ソース、音量しきい値、認識言語、翻訳目標言語がすべて正しく設定されていることを確認します。
  5. VR内（音声翻訳モード）でトリガーを約1秒長押しして音声翻訳をオンにすると、相手や自分の訳文をリアルタイムで確認できます；トリガーを短押しすると認識を一時停止 / 再開できます。

各設定項目の詳細な説明は、音声翻訳設定を参照してください。