AI・機械学習

LLM Fine-Tuning Stack。LoRA (Low-Rank Adaptation・rank 8-64)・QLoRA (4bit Quantized LoRA・bitsandbytes)・DoRA (Decomposed)・Unsloth 2025.x (2-5x faster・Free Tier)・Axolotl 0.x (YAML Config)・torchtune 0.5 (PyTorch official)・LLaMA-Factory・Hugging Face TRL 0.13・PEFT 0.14・Liger Kernel (Triton)・FSDP/DeepSpeed Zero、2026年GRPO RL Fine-Tune普及。

開発者に特化したAI検索エンジン。コード生成、デバッグ、公式ドキュメントの横断検索を強みとし、プログラミングに関する複雑な質問に対して正確な回答とソースへのリンクを提供する次世代ツール。

2022年Lee et al. (Meta AI+NVIDIA)発表FactualityPrompts・Industry-leading factuality prompts benchmark LLM + Industry-leading factual prompts benchmark + Industry-leading 16,000 Wikipedia prompts + Industry-leading NeurIPS 2022。

LLMの長文生成テキストをアトミックな事実命題に分解し、Wikipediaを参照してハルシネーション率を定量評価するフレームワーク（Min et al. 2023）。

2024年Factory公開Droid SWE Agent。Pro 業界Pro Mainstream Enterprise SWE Agent + Pro 米国SF Factory + Pro 2023-Factory設立Matan Grinberg + Eno Reyes + Pro Multi-Agent SWE + Pro PR自動作成 + Pro Linear/Jira統合 + Pro $20-100/月 + 累計2023-2026年3年Heritage継承代表機。

LLMの各Attentionヘッドが示すAttentionパターンの「タイプ」を適応的に識別し、ヘッドタイプに応じた最適なKVキャッシュ圧縮ポリシーを適用する手法。

TII (UAE) 2024年8月発表世界最大級 Pure Mamba LLM。7B パラメータ・5.5T トークン学習・Apache 2.0・無限長 context

UAE・Technology Innovation Institute（TII）が開発した純粋SSMアーキテクチャのLLM。Transformer層を含まず全層Mamba-2ブロックで構成された7Bモデルで、長文シーケンスの線形時間処理と低KVキャッシュを特徴とし、2024年公開。

OpenAIのfunction calling仕様と完全互換のオープンソースLLM。ツール呼び出しと通常応答を同一モデルで処理し、低レイテンシなエージェント構築を実現する。

LLMが外部関数・APIを構造化パラメータで呼び出す仕組み。OpenAIが2023年6月に導入し、ツール連携の標準技術となった。

2024年Q2 Microsoft Research India + CMU共同発表vAttention paper・Industry-emerging KV cache virtualization paradigm・Industry-leading OS-level virtual memory management LLM inference KV cache optimization + Industry-emerging PagedAttention alternative + Industry-leading PyTorch + CUDA virtual memory management + Industry-emerging KV cache virtualization paradigm Pioneer・Industry-leading Microsoft Research India + CMU academic + Industrial integrated research foundation。

ByteDanceが開発したLLMの強化学習訓練フレームワーク。大規模分散環境でのGRPO・PPO等のRL訓練を効率化し、柔軟なモデル並列・データ並列構成でスループットを最大化する。

Feature Engineeringは、人工知能（AI）および機械学習分野において極めて重要な概念であり、技術です。モデルの精度とパフォーマンスを向上させるために不可欠な要素として認識されており、その重要性は日々高まっています。本稿では、Feature Engineeringの定義から種類、選び方、そしてトラブルシューティングまで、初心者から上級者まで理解できるよう詳細に解説します。

LLMの残差ストリームに特定の概念を表す方向ベクトル（特徴ベクトル）を加算/減算することで、モデルの出力を意図的に操作する手法。Anthropic SAE研究の実用応用。

LLMの推論時に特定の特徴ベクトルを活性化ベクトルに加算・減算することでモデルの出力を制御する手法。Mechanistic Interpretabilityで同定した特徴を操作することで、ファインチューニングなしにモデルの行動を変更できる。

ML Feature Store。Tecton.ai (Enterprise)・Feast 0.42 (FOSS+Tecton)・Hopsworks 4 (Logical Clocks・FOSS+Cloud)・Featureform・Vertex AI Feature Store (GCP)・SageMaker Feature Store (AWS)・Databricks Feature Store・Snowflake Feature Store・Iguazio Feature Store・¥0 OSS-¥¥¥¥¥¥/月・Online Serving・Offline Training Pipeline・Time Travel・Point-in-Time Correctness、2026年Feast+Hopsworks FOSS主流化。

Vision Language Model(2024-2026年)。GPT-4V/4o/o1(OpenAI・vision)・Claude Sonnet 4.6/Opus 4.7 vision・Gemini 2.5 Pro multimodal・LLaVA 1.6/Next(OSS・Llama base・$0)・CogVLM2 19B(Tsinghua)・MiniCPM-V 2.6(8B mobile)・InternVL 2.5(OpenGVLab・78B)・Qwen2-VL/Qwen2.5-VL(Alibaba・72B)・Pixtral 12B(Mistral・2024年9月)・Florence-2(Microsoft・vision encoder)・Llama 3.2 Vision 11B/90B・Molmo(Allen AI・OSS open weights+data)・2026年 OCR/Image Q&A実用化、ローカル動作可能。

UC BerkeleyのBDD研究室が開発したオープンソースLLM推論・サービングエンジン。PagedAttentionによる高効率KVキャッシュ管理とOpenAI互換APIサーバーを備え、HuggingFace Transformersより24倍のスループットを実現。研究から本番まで最も広く使われるLLM推論フレームワーク。

UC Berkeley発の高スループットLLM推論フレームワーク。PagedAttentionによりGPU KVキャッシュを仮想メモリ方式で管理し、従来比最大24倍のスループットを実現する。OpenAI互換APIサーバーとして広く採用される。

UC Berkeleyが開発したオープンソースLLM推論・サービングエンジン。PagedAttentionとContinuous Batchingを実装し、ナイーブなHuggingFace実装比で最大24倍のスループットを実現。2023年登場でGitHubスター4万超の事実上の標準サービングスタック。