Snowflake Arctic Embed L (2024)（スノーフレークアークティックエンベッドエル2024）
Snowflake 2024年4月発表 OSS Embedding。335M パラメータ・1024次元・MTEB 55.98・Apache 2.0・データクラウド最適化
概要
Snowflake Arctic Embed L は 2024年4月15日にアメリカ Snowflake（モンタナ州 Bozeman、2012年創業、現本社 California 州 San Mateo、Cloud Data Warehouse 大手）が発表した OSS Embedding モデル（HuggingFace: Snowflake/snowflake-arctic-embed-l）。335M パラメータ・1024 次元・MTEB 55.98 平均・Apache 2.0 ライセンス・データクラウド最適化で「軽量高速 + 商用利用可」コンセプトのエンタープライズ向け OSS。
Snowflake は 2024 年 4 月に AI/LLM 戦略を本格化、Snowflake Arctic LLM（480B MoE）+ Arctic Embed（Embedding）+ Cortex AI（プラットフォーム）の 3 本柱で「データクラウド + AI」の差別化を目指す。Arctic Embed はファミリー展開：(1) Arctic Embed XS (22M)・(2) S (33M)・(3) M (110M)・(4) L (335M)・(5) M-Long (137M・8K context) の 5 種、用途別選択可。
L が当時の OSS Embedding 最強級で、MTEB 平均 55.98 で BGE-Large (54.4)・E5-Large (54.0) を上回り、(1) 335M で軽量推論可能（A100 で 5000+ tok/s）(2) Apache 2.0 で完全商用利用可 (3) Snowflake Cortex AI 統合（SQL から直接 Embedding 呼出し可）(4) MIT より緩いライセンスでエンタープライズ法務クリア容易の特徴。
ライセンス Apache 2.0、HuggingFace で無料公開、商用利用可。Snowflake Cortex AI 経由なら $0.001-0.005/1M トークンで API 利用可。
主な特徴・仕組み
- パラメータ数: 335M（業界軽量級）
- 次元数: 1024 次元
- コンテキスト長: 512 トークン（L 標準）/ M-Long で 8K
- MTEB 平均: 55.98（2024-04 OSS SOTA）
- 派生: XS (22M)・S (33M)・M (110M)・L (335M)・M-Long (137M, 8K)
- 学習データ: Snowflake 独自データ + パブリックコーパス
- 推論速度: A100 で 5,000+ tok/s
- VRAM: 1.3GB（FP16）・650MB（INT8）
- ライセンス: Apache 2.0
- API: Snowflake Cortex AI 経由（$0.001-0.005/1M）or 自社ホスト
- OS バージョン: arctic-embed-l (2024-04)・v2.0 (2024-12 多言語対応強化)
スペック比較表
| 項目 | Snowflake Arctic Embed L (2024) | E5-Mistral | text-embedding-3-large | Voyage-3 | Qwen3 Embedding 8B |
|---|---|---|---|---|---|
| パラメータ | 335M | 7B | unknown | unknown | 8B |
| 次元 | 1024 | 4096 | 3072 | 1024 | 4096 |
| コンテキスト | 512 (L) / 8K (M-Long) | 4K | 8K | 32K | 32K |
| MTEB 平均 | 55.98 | 66.6 | 71.0 | 71.8 | 70.2 |
| ライセンス | Apache 2.0 | MIT | proprietary | proprietary | Apache 2.0 |
| VRAM | 1.3GB | 14GB | API | API | 16GB |
| 推論速度 (A100) | 5000+ tok/s | 200 tok/s | API | API | 200 tok/s |
具体例・対応製品
- Snowflake/snowflake-arctic-embed-l (HuggingFace 2024-04): 公式 L モデル
- Snowflake/snowflake-arctic-embed-m-long (2024-05): 8K コンテキスト版
- Snowflake Cortex AI Embedding: SQL から直接呼出し可、$0.001-0.005/1M
- Sentence-Transformers Arctic Embed: 標準サポート、3 行で利用可
- LangChain Arctic Embed: LangChain 統合
選び方・注意点
- 軽量推論最強: 335M で A100 5000+ tok/s、大量バッチ Embedding 処理最適
- MTEB スコアは中位: 71.0 (OpenAI) よりは劣るが、335M で MTEB 55+ は他軽量モデル圧倒
- コンテキスト 512 短い: 標準モデルは長文向きでない、M-Long (8K) で対応
- Apache 2.0 メリット: MIT より緩いライセンス、企業法務でも安心採用
- Snowflake Cortex 統合: 既存 Snowflake 顧客は SQL から直接呼出し可、開発工数削減
- VRAM 1.3GB: RTX 4060 8GB でも余裕、エッジ・組込み運用可
- Qwen3 Embedding との比較: 高性能 + 大規模 vs 軽量 + 高速のトレードオフ、用途で選択
関連用語との違い
| 用語 | 違い |
|---|---|
| Snowflake Arctic Embed L (2024) | 335M・1024次元・Apache 2.0・軽量高速 |
| Voyage-3 (Voyage AI 2024) | 商用 API・MTEB 71.8 |
| E5-Mistral (Microsoft 2024) | OSS・Mistral 7B 系・MTEB 66.6 |
| text-embedding-3-large (OpenAI 2024) | 商用 API・3072次元・$0.13/1M |
| Qwen3 Embedding 8B (2024) | OSS・Qwen3 8B 系・MTEB 70.2 |
よくある質問（FAQ）
Q1: 335M で MTEB 55.98 は良い性能？ A: 軽量モデル ($\le$ 1B) 帯では SOTA級、E5-Large (560M, 54.0)・BGE-Large (335M, 54.4) を上回る。大規模モデル（E5-Mistral 7B = 66.6・Qwen3 8B = 70.2）と比較すると 10-15 ポイント差、性能/コスト のトレードオフ重視時に最適。
Q2: Snowflake Cortex AI 統合の意味は？ A: Snowflake データウェアハウス内で SQL クエリから直接 Embedding 呼出し可：
SELECT SNOWFLAKE.CORTEX.EMBED_TEXT_1024('snowflake-arctic-embed-l', text) FROM mytable;
ETL パイプライン不要で「Snowflake 内のデータをそのまま Embedding 化」が可能、エンタープライズ AI 統合最強。
Q3: Apache 2.0 vs MIT vs Proprietary の違い？ A: Apache 2.0 = 商用利用可・改変可・特許権付与・著作権表示必須、企業法務で最も安心採用。MIT = 同等だが特許権言及なし、E5-Mistral 等。Proprietary（OpenAI / Voyage / Cohere）= API 経由のみ、自社ホスト不可。Snowflake Arctic は Apache 2.0 で完全自由。
まとめ
- Snowflake 2024年4月発表・OSS 軽量 Embedding
- 335M パラメータ・1024 次元・MTEB 55.98
- Apache 2.0 ライセンス・軽量高速（5000+ tok/s）
- Snowflake Cortex AI 統合・SQL 直接呼出し可
- エンタープライズ商用利用に最適な OSS 選択肢