AI・機械学習用語集

Chatbot Arenaの実ユーザー会話から選出した500問の難問セットを使いLLMの性能をGPT-4-0314との勝率で評価するベンチマーク。LMSYS Orgが2024年公開。

LMSYS Chatbot Arenaの人間評価を自動化・高速化したLLMベンチマーク。実ユーザーの難しい質問500問を抽出し、GPT-4-Turboをジャッジモデルとしたペア比較で評価。人間投票との一致率89.1%を達成し、数万ドルのArena投票を$25以下で再現する。

Chatbot Arenaの高難度プロンプト500問を用いた自動LLM評価ベンチマーク。GPT-4を審判モデルとして使用し、人間投票によるEloレーティングとの相関係数0.89を達成した低コスト・高速なモデル評価手法。

2022年Press et al. + Facebook AI Research発表ALiBi paper・Industry-leading Attention with Linear Biases paradigm + Industry-leading linear bias attention + Industry-leading no embedding-based position + Industry-leading BLOOM + MPT adoption + Industry-leading length extrapolation advantage。

2024年成熟ALiBi・Industry-leading attention with linear biases + Industry-leading no position embeddings + Industry-leading extrapolation to longer sequences + Industry-leading Mosaic Press+Ofir Ofir ALiBi attention with linear biases 2024。

Attention スコアに距離に比例した線形ペナルティを加算することで位置情報を表現する手法。学習可能なパラメータを追加せず、訓練時より長いコンテキストへの外挿性能に優れる。BLOOMやMPTなどの大規模モデルで採用された。

Alibaba Cloudが開発した、高性能なオープンソース大規模言語モデル（LLM）シリーズ。Qwen 2.5からQwen 3へと進化し、推論能力に特化したLRMの登場により、世界最高峰の性能を誇る。

Attention計算時にクエリとキーの距離に比例した線形バイアスを減算することで、位置情報を注入する手法。訓練時より長いシーケンスへの外挿能力に優れ、BLOOM-176BやMPT-7B/30Bで採用された。

LLMのファインチューニングやRLHFに必要な人間のフィードバックデータを効率的に収集・管理するオープンソースアノテーションプラットフォーム。HuggingFaceエコシステムと深く統合し、高品質な教師データの作成を支援する。

2023年Rohan Taori et al. (Stanford)発表Alpaca・Industry-leading Stanford Alpaca 52K dataset + Industry-leading Self-Instruct method使用 + Industry-leading LLaMA 7B fine-tune + Industry-leading open instruction tuning democratization。

GPT-4を活用してAlpacaの52,000件SFTデータを自動スコアリングし、高品質9,000件に絞ることでベースラインを上回ることを示した2023年のデータ選定手法。

Stanford Alpacaが2023年に公開したLLMファインチューニング用データ形式。instruction・input・outputの3フィールドでタスク指示データを構造化する。

StanfordのAlpacaプロジェクトが普及させたLLM命令応答フォーマット。`### Instruction:`/`### Input:`/`### Response:` の3セクションで指示・入力・応答を構造化し、instruction tuningの標準テンプレートとなった。

金融向けRAGフレームワーク。リアルタイム市場データ・研究レポート・財務書類を統合的に検索しLLMに提供することで、投資分析・ポートフォリオ管理に特化した高精度な回答生成を実現する。

DeepMindが2024年に発表した第3世代タンパク質構造予測モデル。タンパク質だけでなくDNA・RNA・低分子化合物との複合体構造も予測可能。

Ensemble Learningは、人工知能・機械学習分野における重要な概念・技術です。

Unsupervised Learningは、人工知能・機械学習分野における重要な概念・技術です。

2023年Unstructured Technologies公開Unstructured.io 1.0。Pro 業界Pro Mainstream RAG前処理OSS先駆 + Pro 米国SF Unstructured + Pro 2022-Unstructured設立 + Pro Apache 2.0 OSS + Pro 商用Pro Tier + Pro 50+言語対応 + Pro Multi-format(35+) + 累計2022-2026年4年Heritage継承代表機。

LLMのLoRA/QLoRAファインチューニングを2〜5倍高速化するライブラリ。TritonとCUDAカーネルを手書き最適化し、同じGPUでAxolotl/HuggingFaceより少ないVRAMで速く学習できる。Llama・Mistral・Gemma・Qwen・Phi等に対応。

QLoRAファインチューニングをカスタムCUDAカーネルで最適化したオープンソースライブラリ。HuggingFace PEFT比で学習速度2〜5倍高速化・メモリ使用量60〜70%削減を実現し、無料Google Colabでも70Bモデルのファインチューニングを可能にする。