AI・機械学習

2024年Canva公開Magic Studio。Pro 業界Pro Mainstream Designer向けAI統合Suite Top + Pro オーストラリアSydney Canva + Pro Melanie Perkins Pro CEO + Pro Magic Write/Design/Edit/Switch + Pro Leonardo AI買収 + Pro $40B Valuation + 累計2013-2026年13年Heritage継承代表機。

Qwen3-Embedding-8Bは、テキストデータを高次元の数値ベクトル（埋め込み）に変換するための専門的なモデルです。文章の意味的情報を効率的に捉え、類似度検索や高度な意味理解処理に利用されます。

AlibabaがリリースしたオープンソースのVision-Language Model。Native Dynamic ResolutionとM-RoPEにより任意解像度の画像と最大20分超の動画を処理し、GPT-4oと同等以上の動画QA性能を持つ。

Alibabaが2025年初頭に公開したQwen2.5シリーズのMoEバリアント。総パラメータ57B・有効パラメータ14.3Bで、Qwen2.5-32B密モデルを大幅に下回るコストで同等性能を達成。

Alibaba Cloudが開発した32Bパラメータのコード生成特化LLM。170億トークンのコードデータで学習し、HumanEvalで92.7%を達成。

Alibaba/Qwen TeamのビジョンLLMシリーズ最新版。7B〜72Bの4サイズ展開で、動画理解・エージェント操作・ドキュメント解析に強みを持ちオープンソースVLMの2025年標準候補。

Alibaba QwenチームによるQwen2.5シリーズの数学特化モデル。72Bパラメータで英中バイリンガル数学推論に対応し、MATH・AMC・AIME等の競技数学ベンチマークでオープンソース最高水準を達成。

AlibabaのQwenチームが開発した推論特化モデルシリーズ。QwQ-32Bは320億パラメータで数学・科学・コーディングの推論能力に特化し、オープンソースで公開されている。

Alibaba CloudのQwen2シリーズにおけるMoEバリアント。57B総パラメータのうち14Bをアクティブ化し、多言語対応（29言語）と日本語処理に優れる中規模MoEモデル。

Alibaba Cloudが2024年9月に公開した70億パラメータの命令追従型言語モデル。128Kコンテキスト・29言語対応・18兆トークン訓練で、7Bクラス最高水準のコーディング・数学性能を誇る。

LLM学習安定化のためにAttentionのQuery・Keyベクトルに適用するRMSNorm技術。アテンションエントロピー崩壊を防ぐ。

QK-Norm（Query-Key Normalization）は、Transformer の Self-Attention 機構において Query と Key のベクトルを正規化する手法であり、注意重みのスケールを安定させることで学習の安定性と推論の数値精度を向上させる。ViT-22B、Gemma 2、Chameleon など大規模モデルで採用されており、特に長系列・大次元のモデルで注意スコアのオーバーフローを防止する効果がある。

AlibabaのQwenチームが2025年3月に公開したオープンソース推論モデル。32Bパラメータながら数学・論理推論でo1-miniに匹敵し、Apache 2.0ライセンスで無料利用可能。

QLoRA（Quantized Low-Rank Adaptation）とは、4ビット量子化されたベースモデル上でLoRAアダプタを学習する効率的なファインチューニング手法である。Washington大学のDettmersらが2023年に発表し、48GBのGPU 1枚で65Bパラメータモデルのファインチューニングを可能にした。

2024年成熟QLoRA・Industry-leading LoRA + 4-bit NF4 NormalFloat quantization + Industry-leading double quantization + Industry-leading 65B on single 48GB GPU + Industry-leading UW Tim Dettmers QLoRA MIT 4-bit memory-efficient fine-tuning method 2024。

4ビット量子化とLoRAを組み合わせた効率的なLLMファインチューニング手法。Tim Dettmers et al.（2023）提案。単一GPUで65Bパラメータモデルのファインチューニングを可能にした。

LoRAと4bit量子化を組み合わせた超省メモリファインチューニング手法。65BパラメータのLLMを単一の48GB GPUでファインチューニング可能にした。NF4（Normal Float 4-bit）量子化、二重量子化、ページドオプティマイザの3つの技術革新を導入。ワシントン大学のDettmers et al.が2023年に発表。

LoRAファインチューニングに4bit量子化を組み合わせた手法。ベースモデルを4bitに圧縮した状態でLoRAアダプタを学習することで、VRAM使用量を劇的に削減し、消費者向けGPU1枚で大規模モデルのファインチューニングを実現する。

4ビット量子化（NF4）とLoRAを組み合わせた超効率的LLMファインチューニング手法。65Bパラメータのモデルを48GB以下のVRAMで学習可能にした画期的手法。

LoRAに4bit量子化（NF4）を組み合わせたPEFT手法。量子化したベースモデルを凍結しLoRAアダプタのみFP16で学習することで、70Bクラスの大型LLMを単一の24GB GPUでファインチューニング可能にした。