MetaAIが2023年に発表した音声・テキスト統合多言語翻訳モデル。100言語の音声認識・翻訳・音声合成を単一モデルでこなすSpeech-to-Speech翻訳システム。

SeamlessM4Tとは？（シームレスエムフォーティー）意味・特徴をわかりやすく解説

SeamlessM4T 完全ガイド（2025年版）

SeamlessM4Tとは

SeamlessM4T（Massively Multilingual & Multimodal Machine Translation）は、Meta AIが2023年8月に発表した次世代多言語翻訳モデルです。従来の翻訳システムは「音声認識→機械翻訳→音声合成」と複数の専門モデルをパイプライン接続していましたが、SeamlessM4Tはこれらを単一のend-to-endモデルに統合。100言語での複数タスクを一つのモデルでこなします。

対応タスクと言語数

タスク	略称	説明	対応言語数
Speech-to-Text	S2TT	音声→テキスト翻訳	101言語入力→96言語出力
Speech-to-Speech	S2ST	音声→音声翻訳	101言語入力→36言語出力
Text-to-Text	T2TT	テキスト→テキスト翻訳	96言語
Text-to-Speech	T2ST	テキスト→音声翻訳	96言語入力→36言語出力
Automatic Speech Recognition	ASR	音声認識（文字起こし）	101言語

アーキテクチャ

音声入力
    ↓
音声エンコーダ (W2v-BERT 2.0)
    ↓
UnitY2デコーダ
    ├→ テキスト出力（T2TT / S2TT）
    └→ 音声ユニット列 → ボコーダー → 音声波形出力（S2ST / T2ST）

SeamlessM4T v2（2024年）の改善点

より自然な音声: 声質・韻律の自然さが大幅改善
話者音声保存: ソース話者の声質・感情を保ちながら翻訳
FLEURS WER改善: 低リソース言語の音声認識エラー率が平均15%低下
モデルサイズ: 2.3Bパラメータ（v1比でパラメータ効率改善）

SeamlessStreaming（リアルタイム翻訳）

遅延: 平均2〜4秒の翻訳遅延（従来S2STシステムの半分以下）
MMA（Monotonic Multihead Attention）: 入力音声を聞きながら同時に翻訳テキストを生成
ユースケース: ライブ国際会議・国際ビデオ通話・リアルタイム字幕

Pythonでの利用

from transformers import AutoProcessor, SeamlessM4Tv2Model
import torchaudio

processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

audio, sample_rate = torchaudio.load("english_audio.wav")
audio_inputs = processor(audios=audio, return_tensors="pt")

# 英語音声→日本語テキスト翻訳 (S2TT)
output_tokens = model.generate(
    **audio_inputs,
    tgt_lang="jpn",
    generate_speech=False
)
translation = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)
print(translation)

競合比較

比較項目	SeamlessM4T v2	Whisper + NLLB	Google Translate API
音声→音声翻訳	単一モデル	パイプライン	なし
対応言語数	101言語入力	ASR96/MT200	133言語
リアルタイム対応	Seamless Streaming	困難（逐次処理）	あり（有料）
オープンソース	研究利用可	完全OSS	クローズド
話者音声保存	あり（v2）	なし	なし

まとめ

SeamlessM4Tは、音声と言語の壁を越えるリアルタイムコミュニケーションへの道を開いた画期的モデルです。単一モデルで音声認識・翻訳・音声合成を統合したend-to-endアーキテクチャは、従来のパイプライン方式より低遅延・高品質を実現。2025年現在、国際会議リアルタイム通訳・インクルーシブコミュニケーション・放送字幕などへの応用研究が活発に進んでいます。

SeamlessM4T（シームレスエムフォーティー）