Qwen3 Embedding 8B (Alibaba 2024)（クウェンスリーエンベディング8ビー2024）
Alibaba 2024年9月発表 LLM ベース Embedding。Qwen3 8B 系・4096次元・MTEB 70.2・多言語強い・Apache 2.0
概要
Qwen3 Embedding 8B は 2024年9月に中国 Alibaba（杭州、1999年創業、Jack Ma 創業）の Qwen チーム（DAMO Academy 配下）が発表した LLM ベース Embedding モデル（HuggingFace: Alibaba-NLP/gte-Qwen2-7B-instruct 系統の後継、Qwen3 8B ベース）。Qwen3 8B 系・4096 次元・MTEB 70.2 平均・多言語強い（中・英・日 等 100+ 言語）・Apache 2.0 ライセンスで OSS 最強級。
Qwen シリーズは Alibaba の主力 LLM ファミリーで、Qwen 1 (2023-08)・Qwen 1.5 (2024-02)・Qwen 2 (2024-06)・Qwen 2.5 (2024-09)・Qwen 3 (2024-09 派生、Embedding 用) と進化。Qwen3 Embedding は Qwen 2.5 ベースの Embedding 特化派生で、Q&A / 検索 / クラスタリング / Reranking 全タスクで強い汎用性。
革新は (1) 8B LLM ベース：Mistral 7B (E5-Mistral) と同思想で、LLM の言語理解力 + Instruction Following を Embedding に活用 (2) 多言語強い：Alibaba の中国・日本・東南アジア市場戦略を反映、中国語・日本語タスクで他 OSS 圧倒 (3) MTEB 70.2：当時 OSS 最強級、商用 OpenAI text-embedding-3-large (71.0) に肉薄 (4) Reranker 兼用：同じモデルで検索 + リランクの 2 段階パイプライン構築可。
ライセンス Apache 2.0、HuggingFace で無料公開、商用利用可。Alibaba Cloud DashScope 経由で $0.001-0.005/1M トークン API 利用も可能。
主な特徴・仕組み
- ベースモデル: Qwen3 8B（Decoder-only LLM）
- 次元数: 4096 次元
- コンテキスト長: 32,000 トークン（長文ドキュメント直接処理）
- MTEB 平均: 70.2（2024-09 OSS SOTA）
- 多言語: 100+ 言語、中・英・日で特に強い
- モデルサイズ: 8.05B パラメータ・FP16 16.1GB VRAM
- 対応タスク: Retrieval / Clustering / Classification / STS / Reranking
- Instruction Following: タスク指示文付きクエリ対応
- 学習データ: Alibaba 内部 + パブリック多言語データ
- 派生: Qwen3 Embedding 0.5B (軽量)・1.8B (中型)・8B (フル)・32B (実験)
- ライセンス: Apache 2.0
- OS バージョン: Qwen3 Embedding 8B (2024-09)・v2 (2024-12 改良)
スペック比較表
| 項目 | Qwen3 Embedding 8B (2024) | E5-Mistral | text-embedding-3-large | Voyage-3 | Snowflake Arctic Embed L |
|---|---|---|---|---|---|
| パラメータ | 8B | 7B | unknown | unknown | 335M |
| 次元 | 4096 | 4096 | 3072 | 1024 | 1024 |
| コンテキスト | 32K | 4K | 8K | 32K | 512 (M-Long で 8K) |
| MTEB 平均 | 70.2 | 66.6 | 71.0 | 71.8 | 55.98 |
| 中・日 多言語 | 最強 | 中 | 中 | 中 | 弱 |
| ライセンス | Apache 2.0 | MIT | proprietary | proprietary | Apache 2.0 |
| VRAM | 16GB | 14GB | API | API | 1.3GB |
具体例・対応製品
- Alibaba-NLP/gte-Qwen2-7B-instruct (HuggingFace 2024): Qwen2 ベース前身、後継 Qwen3
- Alibaba-NLP/Qwen3-Embedding-8B (HuggingFace 2024-09): 公式 Qwen3 ベース
- Alibaba Cloud DashScope Embedding API: $0.001-0.005/1M、Alibaba Cloud 経由
- vLLM Qwen3 Embedding: 高速推論サーバ統合、本番運用可
- LangChain Qwen3 Embedding: LangChain 統合
選び方・注意点
- OSS で性能最強級: MTEB 70.2 で OpenAI text-embedding-3-large (71.0) に肉薄、OSS で No.1
- 多言語特に強い: 中国語・日本語タスクで他 OSS（E5-Mistral 66.6・Snowflake 55.98）大幅上回り、アジア市場 RAG 最強
- GPU 必須: 8B モデルで FP16 16GB VRAM 必要、RTX 4090 / A100 / H100 推奨
- 32K コンテキスト: 長文ドキュメント・コード・契約書 RAG 最適、Voyage-3 と並ぶ業界最長
- Reranker 兼用: 同モデルで検索 + Reranking 可、別途 Reranker モデル不要
- Alibaba Cloud DashScope: $0.001-0.005/1M で API 利用可、自社 GPU 不要シナリオで便利
- 中国系の地政学: 米国制裁・欧米プライバシー法対応必要、データセンター選択重要
関連用語との違い
| 用語 | 違い |
|---|---|
| Qwen3 Embedding 8B (Alibaba 2024) | OSS・8B・多言語最強・Apache 2.0 |
| Voyage-3 (Voyage AI 2024) | 商用 API・Anthropic 推奨 |
| E5-Mistral (Microsoft 2024) | OSS・Mistral 7B 系・MTEB 66.6 |
| text-embedding-3-large (OpenAI 2024) | 商用 API・3072次元・$0.13/1M |
| Snowflake Arctic Embed L (2024) | OSS・335M 軽量・Apache 2.0 |
よくある質問（FAQ）
Q1: 日本語 RAG での実用性は？ A: 圧倒的に強い。E5-Mistral・Snowflake Arctic・BGE-M3 等の他 OSS は英語中心、Qwen3 は中・日本語学習データを大量に含むため日本語 Embedding 精度で OSS No.1。実測で日本語 STS タスクで E5-Mistral 比 +15-20% スコア。
Q2: 16GB VRAM 制約は厳しい？ A: RTX 4090 (24GB)・A100 40GB・H100 80GB なら余裕、RTX 4080 (16GB) ぎりぎり・RTX 4070 (12GB) 不可。中小企業の本番運用は A100 ($2/h Modal)・RTX 4090 自社運用 ($1500 一括) が現実解。
Q3: Voyage-3 / OpenAI と比較して OSS の利点は？ A: (1) API コストゼロ（自社 GPU 投資のみ）(2) データプライバシー要件（金融 / 医療 / 政府）対応可 (3) カスタム fine-tune 可能 (4) Apache 2.0 で完全自由 (5) 中・日本語精度で圧倒。一方推論コスト・レイテンシで API に劣る、トレードオフ。
まとめ
- Alibaba 2024年9月発表・LLM ベース OSS Embedding
- Qwen3 8B 系・4096 次元・32K コンテキスト
- MTEB 70.2・OSS で OpenAI に肉薄
- 多言語（中・日 等 100+）で OSS No.1
- Apache 2.0・Alibaba Cloud DashScope 経由 API 可