Qwen3-Embedding-8B（クウェンスリーエンベッディングエイトビー）

Qwen3-Embedding-8B とは

Qwen3-Embedding-8BはAlibabaのQwenチームが2025年5月に公開した大規模テキスト埋め込みモデルで、Qwen3 LLMのエンコーダ側の能力を埋め込みタスク向けに特化させたモデルだ。8B・1.7B・0.6Bの3サイズが同時公開され、それぞれHugging FaceでApache 2.0ライセンスの下で提供されている。

主要スペック

MTEB実績

Qwen3-Embedding-8BはMTEB多言語リーダーボードで公開当時のトップスコアを記録。特に中国語・日本語を含むアジア言語での精度が高く、jisaku.comのような日本語コンテンツの埋め込みに適している。

• MTEB English: 70.5+（voyage-3-large水準）
• MTEB Multilingual: 67.2+（BGE-M3を超える言語でも優位）

命令チューニングの使い方

Qwen3-Embeddingはinstructionパラメータで検索タスクを指定できる。これにより、同じモデルで「質問→文書」「文書→文書」「カテゴリ分類」など複数タスクを切り替え可能。

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("Qwen/Qwen3-Embedding-8B")

# クエリ埋め込み（命令付き）
queries = ["自作PCのCPUはCore i5とRyzen 5どちらが良いか"]
query_embeddings = model.encode(
    queries,
    prompt="Instruct: Given a question, retrieve relevant documents\nQuery: "
)

# 文書埋め込み（命令なし）
docs = ["Core i5-14600KはRyzen 5 7600Xより...", "Ryzen 5 7600Xのシングルスレッド性能は..."]
doc_embeddings = model.encode(docs)

Matryoshka次元削減

Qwen3-Embedding-8Bは4,096次元の出力をMatryoshka方式で圧縮できる。ANN（近似最近傍探索）のインデックスサイズとメモリを削減しながら、精度の劣化を最小限に抑える。

# 1024次元に削減（標準の1/4のストレージ）
embeddings_1024 = model.encode(docs, truncate_dim=1024)

ローカルOllama/LM Studio運用

# Ollama（量子化版）
ollama pull qwen3-embedding:8b

# LM Studio経由（GGUFモデル）
# Hugging FaceからQwen3-Embedding-8B-GGUFをダウンロード

jisaku.com環境（macmini 192.168.1.200）ではgemma4:12bを主用するが、Qwen3-Embedding-8BをOllamaで動かすことでローカル全文検索システムを完結させられる。

API（OpenAI互換）での利用

curl http://192.168.1.200:11434/api/embeddings \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3-embedding:8b", "prompt": "自作PC用語集の検索クエリ"}'

比較選択指針

• 日本語・多言語 + 精度最優先 + ローカル → Qwen3-Embedding-8B
• ハイブリッド検索（Dense+Sparse+ColBERT） → BGE-M3
• API手軽さ + 英語精度 → Voyage-3
• Apache 2.0 + MoE効率 → Nomic Embed v2 MoE
• エンタープライズ検索 + Snowflake Cortex連携 → Snowflake Arctic Embed L