Nomic Embed Text v2 (OSS Trainable MoE Embedding・2024年)（ノミックエンベッドテキスト）

概要

Nomic Embed Text v2 は、2024年Q4にNomic AI (米New York拠点・2023年Brandon Duderstadt創業のAI startup・Atlas Map (ベクトル可視化) / GPT4All (Local LLM CLI) 開発元) が発表したOpen Source Embedding Model。OSS界初の本格的Mixture-of-Experts (MoE) Architecture採用Embedding model・475M total parameter / 305M active parameter (MoE active subset・推論時305MのみActive) + Multilingual対応 (100+言語) + Matryoshka Representation Learning (768次元から64-128-256-512次元へ可変截断可能) + 8,192 max sequence length + Apache 2.0 License・MTEB English score 65.85・OpenAI text-embedding-3-small ($0.02/1M tokens・MTEB 62.26) のOSS代替主軸として位置づけ。さらに「初の完全Open Source MoE Embedding」として Training code / Training data / Hyperparameter / Evaluation script の全てを GitHub公開し研究Reproducibility完全保証・既存のWeights-only OSS Embedding model (BGE-M3 / Jina v3 等) との差別化軸を確立。

主な特徴・仕組み

• Architecture: Mixture-of-Experts (MoE) ・475M total parameter / 305M active per inference
• MoE Routing: Top-2 expert routing per token・dense layer 1.6倍sparse化で精度+1.5%
• Multilingual: 100+言語対応 (English中心・CJK / Indo-European / Arabic等)
• Max Seq Length: 8,192 tokens
• Embedding Dimension: 768次元 (Matryoshka対応 64-128-256-512-768次元可変截断)
• MTEB English: 65.85 score (Voyage 3 72.05 / NV-Embed v2 72.31 に劣るが OpenAI text-embed-3-small 62.26上回る)
• License: Apache 2.0 (OSS・商用可)
• Reproducibility: 「初の完全Open Source MoE Embedding」 Training code / Data / Hyperparameter全公開
• Distribution: Hugging Face SafeTensors (nomic-ai/nomic-embed-text-v2-moe) + GGUF (llama.cpp + Ollama対応)
• Hardware: CPU実行可能 (305M active小規模・MoE sparse activation) + GPU加速対応

スペック比較表

具体例・対応製品

• Nomic Embed Text v2 (Hugging Face): nomic-ai/nomic-embed-text-v2-moe・Apache 2.0・SafeTensors
• Nomic Embed Text v2 GGUF: llama.cpp / Ollama対応 GGUF format・CPU local execution最適化
• Nomic Atlas Map: nomic-embed-textで生成したembedding可視化Cloud platform・$0-$50/mo
• Nomic Embed Text v1.5 (前世代): 137M parameter Dense・MTEB 62.39・Cost-efficient
• 競合 BGE-M3 (BAAI): 567M Dense・MIT・100言語・MTEB 64.36

自作PCでの選び方・注意点

Nomic Embed Text v2 は「完全Open Source Reproducible Embedding研究」「OpenAI text-embedding-3-small OSS代替」「MoE Architecture実験」用途の本命model。OpenAI text-embedding-3-small ($0.02/1M tokens・MTEB 62.26) の Proprietary Black box に対するOSS代替として位置づけ・MTEB 65.85で OpenAI 3-smallを上回る精度を Apache 2.0 OSSで提供・Vendor lock-in回避・GDPR/Self-Host Compliance要件対応可能。MoE Architectureはinference時 305M active parameter のみActive で 475M total 比でメモリ使用量・推論速度両方有利・CPU実行も実用速度 (8GB+ RAM)。Nomic Atlas Map (Vector可視化Cloud platform) と組合せで Vector data exploration が容易。一方MTEB Score 65.85はNV-Embed v2 (72.31) / Voyage 3 (72.05) より劣り、Precision最優先研究用途には NV-Embed v2 / GTE-Qwen2 7B 推奨。研究Reproducibility / OSS principle志向志向にはNomic Embed v2が唯一無二。

関連用語との違い

• vs OpenAI text-embedding-3-small: Nomic v2 はApache 2.0 + MTEB 65.85・OpenAI 3-small はProprietary + MTEB 62.26・両方$0.02/1M同価格圏
• vs BGE-M3: Nomic v2 はMoE + 完全Reproducible・BGE-M3 はDense + Weights公開のみ
• vs Nomic Embed v1: v2 はMoE Architecture + 100+言語 + MTEB 65.85・v1 はDense + 英語中心 + MTEB 62.39

よくある質問（FAQ）

Q1: MoE EmbeddingのMoEとは？ A: Mixture-of-Experts・複数Expert sub-network (Nomic v2 は8 Expert) からToken-level routing で Top-2 expert選択的活性化・475M total parameterのうち 305M active のみが推論時参加・Sparse activationで Dense同等の精度を 1.6倍少ない active parameterで達成。

Q2: 「完全Open Source Reproducible」 具体的に何が公開？ A: Training code (PyTorch) + Training data (Multi-source corpus) + Hyperparameter (learning rate / batch / mixing ratio等) + Evaluation script + Loss curves。学術論文Replication完全可能・他研究者がNomic Embed v2を 再学習可能。

Q3: GGUF format対応は何ができる？ A: llama.cpp / Ollama / LM Studio等のGGUFベースLocal LLM Runtimeで Nomic Embed v2 を実行可能・Ollama embeddingとして即利用可能・CPU実行に最適化されたQuantized variant (Q4_0/Q5_K/Q8_0) で 4-8GB RAMで動作。

まとめ

Nomic Embed Text v2 = 2024年Q4 Nomic AI発表のOSS MoE Embedding Model。475M total/305M active MoE + 100+言語 + Matryoshka 768次元可変 + 8k seq + Apache 2.0・「初の完全Open Source MoE Embedding」でTraining code/data/Hparams全公開・OpenAI text-embedding-3-small OSS代替の本命model。