AI・機械学習

2022年Izacard et al. (Meta FAIR)発表Atlas・Industry-leading few-shot RAG LLM + Industry-leading continuous retrieval + Industry-leading 11B + Industry-leading few-shot in-context learning + Industry-leading Meta FAIR few-shot RAG。

AI / 機械学習で使う訓練データに対し、画像のバウンディングボックスやテキストのラベル等の正解情報を付与する作業。データ品質がモデル精度を左右する。

UNC Chapel HillとMicrosoftが共同開発した動画理解LLM研究モデル。Slow-FastインスパイアのデュアルパスエンコーダとCross-Frame Attention機構を採用し、少ないパラメータながら長尺動画QAで高い精度を示す。

Cohere for AIが2024年に公開した多言語特化LLMシリーズ。8Bと35Bの2モデルで23言語に対応し、多言語DPO（Direct Preference Optimization）を適用して非英語言語の応答品質を大幅に向上させた。

Cohere for AIが開発した多言語特化型LLM。23言語に対応し、限られた多言語データで高品質な指示追従を実現するための革新的学習手法を採用した2024年公開のOSSモデル。

Rhymes AIが開発したオープンソースのマルチモーダルMixture-of-Expertsモデル。総パラメータ25.3B（アクティブ3.9B）でテキスト・画像・動画を処理し、Apache 2.0ライセンスで完全商用利用可能なマルチモーダルLLM。

LLMが処理するデータ自体に内在する「偶然の不確実性」。曖昧な質問・多義語・矛盾する訓練データから生じ、モデルを改善しても原理的に低減できない。

LMSYSが開発したLLM評価ベンチマーク。500問の難問セットで複数モデルを自動対戦形式で比較し、勝率ベースでランキングする。MT-Benchより識別力が高い。

LMSYSが開発した自動LLM評価ベンチマーク。500件の技術的タスクをGPT-4oがジャッジし、ヒューマン評価との高相関を実現する。

Chatbot Arenaの実ユーザー会話から選出した500問の難問セットを使いLLMの性能をGPT-4-0314との勝率で評価するベンチマーク。LMSYS Orgが2024年公開。

2022年Press et al. + Facebook AI Research発表ALiBi paper・Industry-leading Attention with Linear Biases paradigm + Industry-leading linear bias attention + Industry-leading no embedding-based position + Industry-leading BLOOM + MPT adoption + Industry-leading length extrapolation advantage。

2024年成熟ALiBi・Industry-leading attention with linear biases + Industry-leading no position embeddings + Industry-leading extrapolation to longer sequences + Industry-leading Mosaic Press+Ofir Ofir ALiBi attention with linear biases 2024。

Alibaba Cloudが開発した、高性能なオープンソース大規模言語モデル（LLM）シリーズ。Qwen 2.5からQwen 3へと進化し、推論能力に特化したLRMの登場により、世界最高峰の性能を誇る。

2023年Rohan Taori et al. (Stanford)発表Alpaca・Industry-leading Stanford Alpaca 52K dataset + Industry-leading Self-Instruct method使用 + Industry-leading LLaMA 7B fine-tune + Industry-leading open instruction tuning democratization。

GPT-4を活用してAlpacaの52,000件SFTデータを自動スコアリングし、高品質9,000件に絞ることでベースラインを上回ることを示した2023年のデータ選定手法。

Stanford Alpacaが2023年に公開したLLMファインチューニング用データ形式。instruction・input・outputの3フィールドでタスク指示データを構造化する。

StanfordのAlpacaプロジェクトが普及させたLLM命令応答フォーマット。`### Instruction:`/`### Input:`/`### Response:` の3セクションで指示・入力・応答を構造化し、instruction tuningの標準テンプレートとなった。

金融向けRAGフレームワーク。リアルタイム市場データ・研究レポート・財務書類を統合的に検索しLLMに提供することで、投資分析・ポートフォリオ管理に特化した高精度な回答生成を実現する。

DeepMindが2024年に発表した第3世代タンパク質構造予測モデル。タンパク質だけでなくDNA・RNA・低分子化合物との複合体構造も予測可能。

Ensemble Learningは、人工知能・機械学習分野における重要な概念・技術です。