AI・機械学習用語集

RAFTとRAG、標準SFT、DSFTの比較分析。RAFTはRAGパイプラインのLLMをファインチューニングしてretriever出力の文書群からの情報抽出を最適化する手法で、推論コストはRAGと同等だが精度が大幅に向上する。各手法の精度、コスト、レイテンシ、運用負荷のトレードオフを詳細に比較する。

RAFTは、外部知識検索（Retrieval）の結果をファインチューニングのプロセスに組み込む高度な学習手法です。これにより、モデルが最新かつ特定の情報源に基づいた根拠のある回答生成能力を獲得します。

ワンホットラベルの正解確率を1.0から(1-ε)に下げ、残りのεを他クラスに均等配分することでモデルの過信を抑制し、予測のキャリブレーション精度と汎化性能を向上させる正則化手法。翻訳・要約などのLLMタスクで広く使用される。

MetaがオープンソースリリースしたマルチモーダルLLMシリーズ。11Bと90Bの2サイズで提供され、テキストと画像の同時理解に対応。ローカル推論・商用利用・ファインチューニングが可能で、オープンソースマルチモーダルモデルのデファクトスタンダードとなっている。

hiyouga氏が開発する統合LLMファインチューニングプラットフォーム。100以上のLLMモデルに対応し、Web UI（LLaMA Board）・CLI・Pythonスクリプト全ての操作方法を提供。Full FT・LoRA・QLoRA・DPO・PPO・KTO・ORPOなど最も多くの学習手法をサポートする。

2024年7月Meta発表Llama 3.1 405B・Industry-leading 405B parameters open-weight frontier + Industry-leading 15.6T tokens trained + Industry-leading 128K context + Industry-leading Meta Llama 3.1 405B Llama Community License open-weight frontier LLM 2024。

2024年7月Meta発表Llama 3.1 70B・Industry-leading 70B medium-flagship + Industry-leading 128K context + Industry-leading 8 languages multilingual + Industry-leading Meta Llama 3.1 70B Llama Community License open-weight medium-flagship 2024。

2024年9月Meta発表Llama 3.2 11B Vision・Industry-leading first Meta open-weight VLM + Industry-leading visual reasoning + chart+table understanding + Industry-leading Meta Llama 3.2 11B Vision Llama Community License open-weight VLM 2024。

2024年9月Meta発表Llama 3.2 1B+3B・Industry-leading edge + mobile-optimized + Industry-leading 128K context + Industry-leading Qualcomm + MediaTek partnerships + Industry-leading Meta Llama 3.2 1B+3B Llama Community License edge LLM 2024。

2024年9月Meta発表Llama 3.2 90B Vision・Industry-leading top-tier open-weight VLM + Industry-leading 90B parameters + Industry-leading GPT-4o-mini Vision competitive + Industry-leading Meta Llama 3.2 90B Vision Llama Community License top-tier open-weight VLM 2024。

2024年Q3 Meta (米Menlo Park・Facebook + Instagram + WhatsApp + Threads・Industry-leading social media + AI infrastructure investor・Llama Open weights LLM Industry-leading brand position確立 + Industry-leading Meta AI Research) 発表Llama 3.2 Vision 11B + 90B・Industry-leading Meta Open weights multimodal LLM・Llama 3.2 family multimodal variants + 11B mid-size + 90B Industry-leading scale + Vision encoder integrated + Llama 3 Custom License + Industry-leading Meta Open weights multimodal brand position確立。

2024年12月Meta発表Llama 3.3 70B・Industry-leading Llama 3.1 405B-equivalent performance + Industry-leading 70B parameters + Industry-leading 128K context + Industry-leading Llama 3.3 Community License Meta open-weight LLM flagship 2024。

2024年4月Meta発表Llama 3 tokenizer・Industry-leading 128K vocabulary BPE + Industry-leading 4x larger than Llama 2 32K + Industry-leading Tiktoken-based + Industry-leading Meta Llama 3 128K BPE tokenizer 2024。

データ接続とRAGに特化したLLMフレームワーク。多様なデータソースを取り込み(Ingest)、インデックス化し、クエリエンジンで検索・回答する。RAGや知識集約型エージェント構築に強みを持つ。

Jerry Liu 2022年発表の LLM RAG 特化フレームワーク。Python + JS・MIT・35K+ stars・「データ重視 RAG 主流」.

2022年Jerry Liu発表LlamaIndex・Industry-leading data framework for LLMs RAG + Industry-leading Document loaders 100+ + Industry-leading LlamaParse PDF + Industry-leading LlamaIndex data framework RAG-focused 2022+。

2024年LlamaIndex発表0.11・Industry-leading data-centric RAG framework + Industry-leading LlamaParse PDF parsing + Industry-leading LlamaCloud SaaS + Industry-leading Run-LLM Jerry Liu MIT data-centric RAG framework 2024。

Meta社が開発したLLM入出力安全分類モデル。ユーザーのプロンプトとモデルの応答を検査し、有害カテゴリ（暴力、性的コンテンツ、犯罪助長等）に該当するかを判定する。Llama 2/3ベースでファインチューニングされ、カスタムポリシーへの適応が容易。プロダクション環境でのLLMガードレールとして広く採用。

Meta が開発・公開する LLM 安全性分類モデル。入力プロンプトと出力レスポンスを安全/危険に分類し、暴力・性的コンテンツ・犯罪助長・個人情報漏洩など13カテゴリの有害性を検出する。Llama 3.1 ベースの8Bパラメータモデルで、ガードレールシステムの判定エンジンとして広く採用されている。

Metaが2024年9月に公開した12.4億パラメータの超小型言語モデル。128Kコンテキスト対応でスマートフォン・エッジデバイスへのネイティブ展開を主目的とし、Apache 2.0でオープン公開された。