AI・機械学習

2024年Q3 Meta (米Menlo Park・Facebook + Instagram + WhatsApp + Threads・Industry-leading social media + AI infrastructure investor・Llama Open weights LLM Industry-leading brand position確立 + Industry-leading Meta AI Research) 発表Llama 3.2 Vision 11B + 90B・Industry-leading Meta Open weights multimodal LLM・Llama 3.2 family multimodal variants + 11B mid-size + 90B Industry-leading scale + Vision encoder integrated + Llama 3 Custom License + Industry-leading Meta Open weights multimodal brand position確立。

2024年12月Meta発表Llama 3.3 70B・Industry-leading Llama 3.1 405B-equivalent performance + Industry-leading 70B parameters + Industry-leading 128K context + Industry-leading Llama 3.3 Community License Meta open-weight LLM flagship 2024。

2024年4月Meta発表Llama 3 tokenizer・Industry-leading 128K vocabulary BPE + Industry-leading 4x larger than Llama 2 32K + Industry-leading Tiktoken-based + Industry-leading Meta Llama 3 128K BPE tokenizer 2024。

データ接続とRAGに特化したLLMフレームワーク。多様なデータソースを取り込み(Ingest)、インデックス化し、クエリエンジンで検索・回答する。RAGや知識集約型エージェント構築に強みを持つ。

Jerry Liu 2022年発表の LLM RAG 特化フレームワーク。Python + JS・MIT・35K+ stars・「データ重視 RAG 主流」.

2022年Jerry Liu発表LlamaIndex・Industry-leading data framework for LLMs RAG + Industry-leading Document loaders 100+ + Industry-leading LlamaParse PDF + Industry-leading LlamaIndex data framework RAG-focused 2022+。

2024年LlamaIndex発表0.11・Industry-leading data-centric RAG framework + Industry-leading LlamaParse PDF parsing + Industry-leading LlamaCloud SaaS + Industry-leading Run-LLM Jerry Liu MIT data-centric RAG framework 2024。

Meta社が開発したLLM入出力安全分類モデル。ユーザーのプロンプトとモデルの応答を検査し、有害カテゴリ（暴力、性的コンテンツ、犯罪助長等）に該当するかを判定する。Llama 2/3ベースでファインチューニングされ、カスタムポリシーへの適応が容易。プロダクション環境でのLLMガードレールとして広く採用。

Meta が開発・公開する LLM 安全性分類モデル。入力プロンプトと出力レスポンスを安全/危険に分類し、暴力・性的コンテンツ・犯罪助長・個人情報漏洩など13カテゴリの有害性を検出する。Llama 3.1 ベースの8Bパラメータモデルで、ガードレールシステムの判定エンジンとして広く採用されている。

Metaが2024年9月に公開した12.4億パラメータの超小型言語モデル。128Kコンテキスト対応でスマートフォン・エッジデバイスへのネイティブ展開を主目的とし、Apache 2.0でオープン公開された。

Meta Llama 3シリーズが採用する会話フォーマット。`<|begin_of_text|>`・`<|start_header_id|>`・`<|eot_id|>` などの専用特殊トークンでロールとメッセージを区切り、Llama 3系モデルの推論に必須となる構造。

2024年LlamaIndex公開LlamaParse。Pro 業界Pro Mainstream LlamaIndex統合Doc Parser + Pro 米国San Francisco LlamaIndex + Pro 2022-LlamaIndex設立Jerry Liu + Pro PDF→Markdown + Pro Table認識 + Pro $0.003/page + Pro Premium Mode + 累計2022-2026年4年Heritage継承代表機。

2023年Mozilla Builders Project発表のLlamafile・Justine Tunney (元Google Cosmopolitan Libc作者) 主導の OSS Single-Binary LLM Executable framework。Apache 2.0 License・GitHub Star 22k+ (2024年Q4)・llama.cpp + Cosmopolitan Libc 統合で「単一バイナリで Windows/macOS/Linux/FreeBSD/OpenBSD/NetBSD 6 OS同時実行可能」のAPE (Actually Portable Executable) 方式・モデル + LLM runtime + Webサーバ + UI を1ファイル化・Wifi無Offline実行・USB stick配布可能のExtreme Portability実現の革新的OSS。

Meta が 2025 年 4 月に公開した次世代オープンソース LLM シリーズ。Llama 3 の後継として、マルチモーダル対応、より長いコンテキスト、MoE アーキテクチャを採用し、オープンモデルの最高水準を目指す。

Metaが2025年4月に公開したLlama 4 Scoutの技術仕様。17B×16専門家MoE構成（総109B）、iRoPEで1000万トークンコンテキスト、Early Fusionマルチモーダル、MTPを採用した次世代オープンモデル。

2024年Red Hat発表のRamalama・Podman/Docker container上でLocal LLM (Ollama互換) を実行するOSS CLI。Apache 2.0 License・GitHub Star 800+ (2024年Q4)・llama.cpp / vLLM / MLX backend切替可能・Ollama compatible API (OpenAI互換) ・OCI Container方式でモデル配布 (Hugging Face/OCI Registry pull)・rootless実行 + Cosign signature検証 + SELinux confinement対応のEnterprise Security重視Local LLM Runtime・Red Hat Enterprise Linux (RHEL) / Fedora標準採用予定。

Yang Youら（UC Berkeley・2020年）が提案した大バッチ分散学習向けオプティマイザー。Adam更新量を各層のパラメータノルムと更新ノルムの比でスケーリングし、BERTの事前学習を76分（従来3日）に短縮することを実証した。

Layer-wise Adaptive Moments optimizer for Batch training の略。大バッチ分散学習向けに設計されたオプティマイザで、レイヤーごとにパラメータのノルムと更新量のノルムの比率で学習率を適応的に調整する。Google が 2019 年に提案し、BERT-Large を TPUv3 1,024 基・バッチサイズ 64K で 76 分で学習する記録を達成した。

2023年Liu et al. + UWaterloo + Microsoft発表LLaVA paper・Industry-leading Large Language and Vision Assistant Pioneer + Industry-leading visual instruction tuning Pioneer + Industry-leading open-source VLM foundation。

2024年1月LLaVA Team発表LLaVA-NeXT・Industry-leading open-source VLM + Industry-leading high-resolution image processing + Industry-leading 34B parameters + Industry-leading LLaVA Team LLaVA-NeXT Apache 2.0 open-source VLM 2024。