Alibabaが2024年9月に公開した音声理解・対話マルチモーダルLLM。7Bパラメータで音楽・音響・音声・環境音を理解し、マルチターン会話・音声質問応答・音声命令追従に対応する。AIR-Benchで先行モデルを上回るスコアを達成。

Qwen2-Audioとは？（クウェンツーオーディオ）意味・特徴をわかりやすく解説

Qwen2-Audioとは

Qwen2-Audioは、Alibaba CloudのQwenチームが2024年9月にarXivおよびHuggingFaceで発表した音声理解特化のマルチモーダルLLMです。テキスト・音声の両方を入力として処理できる大規模言語モデルで、従来のTTS（テキスト→音声）とは逆方向の「音声→テキスト・理解・応答」に特化しています。

音楽の種類判定、環境音の識別、感情分析、音声翻訳、多言語ASR（自動音声認識）など多様な音声タスクを単一モデルで処理できる点が革新的です。

主な特徴・仕組み

アーキテクチャ: Whisper Large v2ベースの音声エンコーダ + Qwen-LM（テキストデコーダ）を結合
2段階学習: Phase 1（音声理解基礎）→ Phase 2（会話能力・指示追従）の段階的ファインチューニング
パラメータ数: 7B（70億）、音声エンコーダ+テキストデコーダ合計
マルチターン対話: audioタグで音声ファイルを埋め込み、テキストと混在した会話継続が可能
対応タスク: ASR（多言語30言語以上）、音声翻訳、感情認識、話者特定、音楽ジャンル分類
コンテキスト長: 最大32,768トークン（音声換算約30分超）

ベンチマーク比較表

ベンチマーク	Qwen2-Audio-7B	SALMONN 7B	Gemini 1.5 Pro	Pengi
AIR-Bench Chat	106.8	82.2	117.2	-
AIR-Bench Foundation	64.3	55.6	72.5	52.8
VocalSound(精度%)	93.2%	79.6%	88.5%	68.9%
Meld感情認識(W-F1)	53.1	47.8	48.2	-
FLEURS-ja(WER%)	11.3%	18.7%	9.8%	-

AIR-Bench: 音声理解LLMの総合ベンチマーク（高いほど良い）

使用例

from transformers import AutoProcessor, Qwen2AudioForConditionalGeneration
import soundfile as sf

# モデルロード（HuggingFaceから自動ダウンロード、約15GB）
model = Qwen2AudioForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-Audio-7B-Instruct", device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-Audio-7B-Instruct")

# 音声ファイルを読み込んで質問
messages = [
    {"role": "user", "content": [
        {"type": "audio", "audio_url": "speech.wav"},
        {"type": "text", "text": "この音声の感情はポジティブですか？要約してください。"}
    ]}
]
inputs = processor.apply_chat_template(messages, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(output[0]))

動作環境・必要リソース

GPU要件:

最小: NVIDIA RTX 4060 Ti（VRAM 16GB）でfloat16実行
推奨: NVIDIA RTX 4080（VRAM 16GB）〜 A6000（VRAM 48GB）
量子化版: 4bit量子化でRTX 3060 12GBでも動作（精度若干低下）

メモリ: 最低32GB RAM推奨（大きな音声ファイル処理時） ストレージ: モデルファイル約15GB（HuggingFace自動ダウンロード）

活用シナリオ

会議録音の自動議事録: 音声→要約+感情分析を一括処理
音楽分析: ジャンル識別・楽器検出・テンポ解析
コールセンター分析: 顧客感情のリアルタイム判定
多言語ASR: 30言語以上の音声テキスト化（日本語WER 11.3%）
ローカルAI音声アシスタント: LM Studio + Qwen2-Audioでオフライン音声認識

よくある質問（FAQ）

Q1: Whisperとの違いは何ですか？ A: OpenAI Whisperは音声→テキスト変換（ASR）に特化したモデルですが、Qwen2-Audioは音声を理解しながらLLMとして自然言語で応答できるマルチモーダルモデルです。「この発言は誰が正しいか」「感情は？」「要約して」といった高次の理解・推論タスクをQwen2-Audioは実行できます。

Q2: リアルタイム音声処理はできますか？ A: 現時点ではバッチ処理（ファイル入力）が主な用途です。ストリーミング推論は公式にはサポートされていませんが、コミュニティ実装では短セグメントに分割してリアルタイムに近い処理を実現しています（遅延200〜500ms程度）。

Q3: 日本語音声の認識精度は？ A: FLEURS日本語ベンチマークでWER 11.3%（単語誤り率）を達成しており、実用的な水準です。ただしGemini 1.5 Pro（9.8%）やWhisper Large v3（約8〜10%）より若干劣ります。自作PCのローカル環境で日本語音声を処理したい場合の選択肢として有効です。

まとめ

Whisperエンコーダ+Qwen LLMの7B音声理解マルチモーダルモデル
ASR・翻訳・感情分析・音楽分類を単一モデルで処理可能
AIR-Bench等複数ベンチマークで先行モデルを上回るスコア
HuggingFace公開・Apache 2.0・自作PC GPU環境でローカル動作可

Qwen2-Audio（クウェンツーオーディオ）