Alibaba Cloud が2024年に公開した Qwen2 ベースのテキスト埋め込みモデルシリーズ。1.5B/7B パラメータの2サイズ展開で、MTEB総合ベンチマークで最高クラスの性能を持つオープンソース Embedding モデル。

GTE-Qwen2とは？（ジーティーイーチュウェンツー）意味・特徴をわかりやすく解説

GTE-Qwen2とは

GTE-Qwen2は、Alibaba CloudのQwenチームが2024年6月に公開したLLMベースのテキスト埋め込みモデルシリーズである。GTE（General Text Embeddings）はAlibaba独自の埋め込みモデルブランドで、Qwen2世代ではLLMアーキテクチャを全面採用。7B版はMTEB総合ベンチマークで72.05を記録し、E5-Mistral（66.6）やBGE-M3（60.1）を大きく上回る。

主な特徴

2サイズ展開: GTE-Qwen2-1.5B-Instruct（1.5B）とGTE-Qwen2-7B-Instruct（7.6B）。用途とリソースに応じて選択
Qwen2アーキテクチャ: Qwen2の事前学習済みLLMをベースに、Bidirectional Attention + 対照学習でファインチューニング。Causal LMの単方向注意を双方向に改変
MTEB最高クラス: 7B版はMTEB Overall 72.05、Retrieval 60.2で2024年オープンソース最高スコア
最大32,768トークン入力: Qwen2のRoPE拡張コンテキスト長を活用。書籍1章分のテキストも一括で埋め込み可能
1,792次元出力（7B）/ 1,536次元（1.5B）: Matryoshka Representation Learning対応で次元削減可能
多言語対応: Qwen2の多言語能力を継承。日本語・中国語・英語で高性能
ライセンス: Apache 2.0（商用利用可）

モデル比較

モデル	パラメータ	最大入力	出力次元	MTEB Overall	VRAM（FP16）
GTE-Qwen2-7B	7.6B	32,768	1,792	72.05	15.2GB
GTE-Qwen2-1.5B	1.5B	32,768	1,536	67.2	3.0GB
E5-Mistral-7B	7.1B	4,096	4,096	66.6	14.2GB
BGE-M3	568M	8,192	1,024	60.1	1.1GB

利用方法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('Alibaba-NLP/gte-Qwen2-7B-instruct',
                            trust_remote_code=True)

# Instruct形式でタスクを指定
queries = ["Instruct: Retrieve relevant documents\\nQuery: 埋め込みモデルの比較"]
documents = ["GTE-Qwen2は高性能なEmbeddingモデルです"]

q_embs = model.encode(queries)
d_embs = model.encode(documents)

vLLM・TGI（Text Generation Inference）でのバッチ推論にも対応。大規模コレクションのインデックス構築でスループットを最大化できる。

1.5B vs 7B の使い分け

観点	GTE-Qwen2-1.5B	GTE-Qwen2-7B
精度	MTEB 67.2（十分高い）	MTEB 72.1（最高クラス）
速度	7B比で約4倍高速	バッチ推論が遅い
VRAM	3.0GB（RTX 3060で余裕）	15.2GB（RTX 4060 Ti 16GB必須）
推奨用途	リアルタイム検索・エッジ	高精度RAG・オフラインインデックス
量子化	Q4で1GB以下	Q4で4GB程度

多くのユースケースでは1.5B版が実用的。7B版は精度を最優先する学術・金融・法務用途向け。

よくある質問（FAQ）

Q1: LM Studioで動かせる？ A: GTE-Qwen2-1.5Bは LM Studio 対応済み（GGUF形式）。7B版もGGUF変換で対応可能。LM Studio の Embedding モードで /v1/embeddings APIとして利用できる。

Q2: Qwen3-Embedding-8Bとの違いは？ A: Qwen3-Embedding-8BはQwen3ベースの後継モデルで、Instruct Embedding（タスク指示）を強化し、多言語性能をさらに向上させた。新規構築ならQwen3-Embedding-8B推奨、既存パイプラインならGTE-Qwen2で問題ない。

Q3: 32,768トークン入力は実用的？ A: 長い論文・法務文書・技術仕様書を分割せずに1ベクトル化できるのが利点。ただし入力が長くなるほど推論時間が増加するため、RAGでは通常500-1,000トークンにチャンキングして使う方が検索精度が高い。

まとめ

GTE-Qwen2はQwen2ベースのLLM埋め込みモデルで、MTEB総合ベンチマーク最高クラス
1.5B（軽量高速）と7B（最高精度）の2サイズで用途に応じて選択
最大32,768トークン入力・Matryoshka次元削減対応で柔軟なRAG構築が可能
Apache 2.0ライセンスで商用利用可能なオープンソースEmbeddingの現時点最強

GTE-Qwen2（ジーティーイーチュウェンツー）