Flow-matchingとDiffusion Transformer（DiT）を組み合わせたゼロショット音声合成モデル。3〜15秒のリファレンス音声から話者の声質を模倣し、多言語高品質音声を生成する。上海交通大学SWINTEchチームが開発したE2-TTS改良版。

F5-TTSとは？（エフファイブティーティーエス）意味・特徴をわかりやすく解説

F5-TTSとは

F5-TTSは、上海交通大学のSWINTEchチームが2024年10月にarXiv・HuggingFaceで公開したゼロショットテキスト読み上げモデルです。「ゼロショット」とは、事前の学習なしに、わずか3〜15秒の参照音声（リファレンス音声）だけで、その話者の声を模倣した音声を生成できる能力のことです。

従来のTTSモデルが「固定の音声スタイルから選択する」のに対し、F5-TTSは任意の人物の声を少量のサンプルから再現できます。これにより、自分の声や特定のキャラクター音声での読み上げが可能になります。

主な技術的特徴

Flow-matching: 確率的フロー（Conditional Flow Matching）による高品質音声生成。拡散モデルより高速・高品質
DiT（Diffusion Transformer）: U-Netの代わりにTransformerアーキテクチャを採用。長文生成の品質が安定
テキスト-音声アライメント: 入力テキストと参照音声の文字タイムラインを自動推定（ConvNeXt v2）
E2-TTSとの差異: E2-TTSは動的なテキストマスキングを使用するが、F5-TTSはフィラー処理と文字埋め込みを改良し自然度を向上
パラメータ数: F5-TTS Base = 318M、Large = 746M（英語特化）
推論速度: NFE=32でRTF約0.15（A100 GPU環境）

スペック比較表（ゼロショットTTS）

モデル	リファレンス必要時間	WER(英語)	SIM(話者類似度)	パラメータ	速度RTF
F5-TTS	3〜15秒	1.83%	0.71	318M	0.15
E2-TTS	3〜15秒	2.19%	0.69	318M	0.20
XTTS v2	5〜30秒	3.2%	0.68	467M	0.25
VoiceBox	2秒以上	5.9%	0.69	330M	0.18
NaturalSpeech3	3秒以上	1.94%	0.67	400M+	0.30

WER: 単語誤り率（低いほど高品質）、SIM: 話者類似度スコア（1.0が完全一致）

実際の利用方法

# インストール
pip install f5-tts

# 基本的な使用例（リファレンス音声から声を模倣）
f5-tts_infer-cli \
  --model F5TTS_Base \
  --ref_audio "reference_speaker.wav" \
  --ref_text "リファレンス音声のテキスト内容" \
  --gen_text "生成したいテキスト（日本語も可）" \
  --output_file output.wav

# Gradio WebUI起動
f5-tts_infer-gradio
# -> http://localhost:7860 でブラウザ操作可能

自作PCでの実行要件

GPU推奨環境:

最小: NVIDIA RTX 3070（VRAM 8GB）→ RTF約0.3
推奨: NVIDIA RTX 4080（VRAM 16GB）→ RTF約0.12
最適: NVIDIA RTX 4090（VRAM 24GB）→ RTF約0.08

CPU動作:

Intel Core i9-14900K / AMD Ryzen 9 7950X以上でほぼリアルタイム（RTF 0.5〜1.0）
Apple M3 Max: RTF約0.15（Metal GPU使用時）

ゼロショットTTSの応用シナリオ

ゲーム開発: NPCキャラクターの音声を少量サンプルから自動生成
有声書籍: 著者本人の声でのナレーション（著者からリファレンスを提供）
バーチャルアシスタント: ユーザーの声を模倣したパーソナライズ音声アシスタント
コンテンツ制作: 特定の声のキャラクターを保ちながら多量の台詞を生成

よくある質問（FAQ）

Q1: 他人の声を無断で模倣することはできますか？ A: 技術的には可能ですが、法的・倫理的に問題があります。F5-TTSのApache 2.0ライセンスは使用の倫理的側面を規制しません。声の模倣は各国の肖像権・プライバシー法・AI生成コンテンツ規制の対象となる場合があります。自分の声、または明示的許可を得た声のみ使用してください。

Q2: NFEパラメータとは何ですか？推論速度と品質のトレードオフは？ A: NFE（Number of Function Evaluations）はFlow-matchingの反復回数です。NFE=8では高速（RTF約0.04）ですが品質がやや落ち、NFE=32では高品質（RTF約0.15）、NFE=64で最高品質（RTF約0.40）です。通常はNFE=16〜32が品質・速度バランスの推奨値です。

Q3: F5-TTSとVOICEVOXの違いは何ですか？ A: VOICEVOXは日本語特化の高品質TTS（固定音声キャラクター）で商用利用には個別契約が必要ですが、音声品質は非常に高いです。F5-TTSはゼロショット音声クローニングに特化しApache 2.0で商用無料ですが、日本語品質はVOICEVOXより劣ります。用途に応じて使い分けてください。

まとめ

Flow-matching × DiTによる318Mパラメータのゼロショット高品質TTS
3〜15秒のリファレンス音声から任意の話者音声を高忠実度再現
WER 1.83%・話者類似度0.71の高スコアを達成
Apache 2.0商用無料、GPU RTX 3070以上でリアルタイム生成可能

F5-TTS（エフファイブティーティーエス）