2472件の用語
Lakera AI 社が提供する LLM ファイアウォール SaaS。プロンプトインジェクション・Jailbreak・PII漏洩・有害コンテンツを API 呼び出し1行で検出・ブロックする。100万件以上の攻撃パターンデータベースに基づく検出エンジンで、1リクエストあたり平均2msの低レイテンシを実現。
2023年Haotian Liu et al. (UW-Madison+MS Research)発表LLaVA・Industry-leading open-source vision-language model + Industry-leading visual instruction tuning + Industry-leading CLIP + LLaMA + Industry-leading first open VLM foundation。
ByteDanceが2024年発表のLLaVA系動画理解モデル。AIRキュレーションデータセットとフレーム圧縮技術で長時間動画を効率的に処理。Video-MMEで最高水準を達成。
2024年4月Lovable公開(旧GPT Engineer)。Pro 欧州Mainstream Full-Stack AI Coding Top + Pro Sweden発祥 + Pro Anton Osika Pro CEO主導 + Pro Supabase統合 + Pro $20-$200 Subscription + Pro $17M Series A + Pro $200M ARR Pro Famous + 2024-11 Pro Lovable 2.0 + 2025-Pro Mobile + 累計2024-2025年Heritage。
テキストや画像からReact、Supabase、Stripe等を組み合わせたフルスタックWebアプリケーションを自動生成する、AI App Builderの先駆的プラットフォーム。
Rabbit社が2024年1月CESで発表した単機能AI端末。LAM(Large Action Model)を搭載し$199でスマートフォン不要の音声AIアシスタントとして販売された。
RAFT(Retrieval Augmented Fine-Tuning)は、RAGパイプラインにおいてretrieverが返す文書群から必要な情報を正確に抽出する能力をLLMに訓練するファインチューニング手法。ドメイン固有のオープンブック試験を模倣し、正解文書(oracle)と無関係文書(distractor)を混在させた学習データでモデルを鍛えることで、ノイズ耐性と情報抽出精度を同時に向上させる。
RAFT(Retrieval Augmented Fine-Tuning)の訓練手法は、oracle文書とdistractor文書を混在させたコンテキストでLLMをファインチューニングし、Chain-of-Thought形式で根拠付き回答を生成させる。P比率(oracle含有率)の制御とCoT回答生成がRAFT特有の訓練設計の核心である。
RAFTのデータセット構築は、ドメイン固有のコーパスから質問-回答ペアを生成し、各質問に対してoracle文書(正解を含む文書)とdistractor文書(無関係な文書)を割り当てるプロセスである。Chain-of-Thought形式の教師回答の生成と品質管理が構築の鍵となる。
RAFTのドメイン適応は、特定の専門領域(医療、法律、金融、技術文書など)のコーパスでRAFTデータセットを構築・訓練することで、そのドメインのRAGパイプラインの精度を飛躍的に向上させるプロセスである。汎用LLMでは対応しきれない専門用語や推論パターンを獲得する。
RAFTとRAG、標準SFT、DSFTの比較分析。RAFTはRAGパイプラインのLLMをファインチューニングしてretriever出力の文書群からの情報抽出を最適化する手法で、推論コストはRAGと同等だが精度が大幅に向上する。各手法の精度、コスト、レイテンシ、運用負荷のトレードオフを詳細に比較する。
RAFTは、外部知識検索(Retrieval)の結果をファインチューニングのプロセスに組み込む高度な学習手法です。これにより、モデルが最新かつ特定の情報源に基づいた根拠のある回答生成能力を獲得します。
ワンホットラベルの正解確率を1.0から(1-ε)に下げ、残りのεを他クラスに均等配分することでモデルの過信を抑制し、予測のキャリブレーション精度と汎化性能を向上させる正則化手法。翻訳・要約などのLLMタスクで広く使用される。
MetaがオープンソースリリースしたマルチモーダルLLMシリーズ。11Bと90Bの2サイズで提供され、テキストと画像の同時理解に対応。ローカル推論・商用利用・ファインチューニングが可能で、オープンソースマルチモーダルモデルのデファクトスタンダードとなっている。
hiyouga氏が開発する統合LLMファインチューニングプラットフォーム。100以上のLLMモデルに対応し、Web UI(LLaMA Board)・CLI・Pythonスクリプト全ての操作方法を提供。Full FT・LoRA・QLoRA・DPO・PPO・KTO・ORPOなど最も多くの学習手法をサポートする。
2024年7月Meta発表Llama 3.1 405B・Industry-leading 405B parameters open-weight frontier + Industry-leading 15.6T tokens trained + Industry-leading 128K context + Industry-leading Meta Llama 3.1 405B Llama Community License open-weight frontier LLM 2024。
2024年7月Meta発表Llama 3.1 70B・Industry-leading 70B medium-flagship + Industry-leading 128K context + Industry-leading 8 languages multilingual + Industry-leading Meta Llama 3.1 70B Llama Community License open-weight medium-flagship 2024。
2024年9月Meta発表Llama 3.2 11B Vision・Industry-leading first Meta open-weight VLM + Industry-leading visual reasoning + chart+table understanding + Industry-leading Meta Llama 3.2 11B Vision Llama Community License open-weight VLM 2024。
2024年9月Meta発表Llama 3.2 1B+3B・Industry-leading edge + mobile-optimized + Industry-leading 128K context + Industry-leading Qualcomm + MediaTek partnerships + Industry-leading Meta Llama 3.2 1B+3B Llama Community License edge LLM 2024。
2024年9月Meta発表Llama 3.2 90B Vision・Industry-leading top-tier open-weight VLM + Industry-leading 90B parameters + Industry-leading GPT-4o-mini Vision competitive + Industry-leading Meta Llama 3.2 90B Vision Llama Community License top-tier open-weight VLM 2024。