AI・機械学習

MoonshotAIが2025年1月に公開した推論モデル。長いコンテキスト強化学習（Long-CoT RL）により、テキストと画像の両方で推論を実行。GPT-4oをMATH-500で上回る性能を公開時に発表。

2022年9月Character.AI公開。Pro 業界Pro Mainstream Roleplay AI Character Top + Pro Noam Shazeer + Daniel De Freitas Pro Co-founders + Pro 元Google LaMDA研究員 + Pro 1000万+ Character + Pro $1B Valuation 2023 + 2024-08 Google $2.7B Pro Famous Licensing買収 + 2025-Pro Character v2 + 累計2022-2025年3年Heritage。

2024年Canva公開Magic Studio。Pro 業界Pro Mainstream Designer向けAI統合Suite Top + Pro オーストラリアSydney Canva + Pro Melanie Perkins Pro CEO + Pro Magic Write/Design/Edit/Switch + Pro Leonardo AI買収 + Pro $40B Valuation + 累計2013-2026年13年Heritage継承代表機。

Qwen3-Embedding-8Bは、テキストデータを高次元の数値ベクトル（埋め込み）に変換するための専門的なモデルです。文章の意味的情報を効率的に捉え、類似度検索や高度な意味理解処理に利用されます。

AlibabaがリリースしたオープンソースのVision-Language Model。Native Dynamic ResolutionとM-RoPEにより任意解像度の画像と最大20分超の動画を処理し、GPT-4oと同等以上の動画QA性能を持つ。

Alibabaが2025年初頭に公開したQwen2.5シリーズのMoEバリアント。総パラメータ57B・有効パラメータ14.3Bで、Qwen2.5-32B密モデルを大幅に下回るコストで同等性能を達成。

Alibaba Cloudが開発した32Bパラメータのコード生成特化LLM。170億トークンのコードデータで学習し、HumanEvalで92.7%を達成。

Alibaba/Qwen TeamのビジョンLLMシリーズ最新版。7B〜72Bの4サイズ展開で、動画理解・エージェント操作・ドキュメント解析に強みを持ちオープンソースVLMの2025年標準候補。

Alibaba QwenチームによるQwen2.5シリーズの数学特化モデル。72Bパラメータで英中バイリンガル数学推論に対応し、MATH・AMC・AIME等の競技数学ベンチマークでオープンソース最高水準を達成。

AlibabaのQwenチームが開発した推論特化モデルシリーズ。QwQ-32Bは320億パラメータで数学・科学・コーディングの推論能力に特化し、オープンソースで公開されている。

Alibaba CloudのQwen2シリーズにおけるMoEバリアント。57B総パラメータのうち14Bをアクティブ化し、多言語対応（29言語）と日本語処理に優れる中規模MoEモデル。

Alibaba Cloudが2024年9月に公開した70億パラメータの命令追従型言語モデル。128Kコンテキスト・29言語対応・18兆トークン訓練で、7Bクラス最高水準のコーディング・数学性能を誇る。

LLM学習安定化のためにAttentionのQuery・Keyベクトルに適用するRMSNorm技術。アテンションエントロピー崩壊を防ぐ。

AlibabaのQwenチームが2025年3月に公開したオープンソース推論モデル。32Bパラメータながら数学・論理推論でo1-miniに匹敵し、Apache 2.0ライセンスで無料利用可能。

Quantized Low-Rank Adaptation の略。4bit NF4 量子化された LLM に LoRA を適用する効率的ファインチューニング手法。2023 年に発表され、単一 RTX 4090 で 65B モデルのファインチューニングを初めて実現した。

2024年成熟QLoRA・Industry-leading LoRA + 4-bit NF4 NormalFloat quantization + Industry-leading double quantization + Industry-leading 65B on single 48GB GPU + Industry-leading UW Tim Dettmers QLoRA MIT 4-bit memory-efficient fine-tuning method 2024。

4ビット量子化とLoRAを組み合わせた効率的なLLMファインチューニング手法。Tim Dettmers et al.（2023）提案。単一GPUで65Bパラメータモデルのファインチューニングを可能にした。

4ビット量子化（NF4）とLoRAを組み合わせた超効率的LLMファインチューニング手法。65Bパラメータのモデルを48GB以下のVRAMで学習可能にした画期的手法。

LoRAに4bit量子化（NF4）を組み合わせたPEFT手法。量子化したベースモデルを凍結しLoRAアダプタのみFP16で学習することで、70Bクラスの大型LLMを単一の24GB GPUでファインチューニング可能にした。

4bitNF4量子化したベースモデルにLoRAアダプタを学習させ、コンシューマGPU単体で65B級モデルのファインチューニングを実現する手法。