AI・機械学習用語集

Byte Pair Encoding（BPE）に基づくサブワード分割アルゴリズム。テキストを統計的に最適なサブワード単位に分割し、LLMが処理可能なトークン列に変換する。GPT系のtiktoken、LLaMA系のSentencePieceが代表的な実装である。

Byte Pair Encodingに基づくサブワード分割アルゴリズム。頻出する文字ペアを繰り返しマージして語彙を構築し、未知語への対応力と語彙効率を両立するLLMの基盤技術。

Byte Pair Encoding・サブワード分割。tiktoken(OpenAI・cl100k_base/o200k_base)・SentencePiece(Google・Llama/Mistral)・Qwen3 tokenizer(151k vocab)・HuggingFace Tokenizers(Rust)・GPT-5 tokenizer推定300k+、byte-level BPE 代表実装、2026年多言語ト化効率+3-5x改善。

Byte Pair Encoding（BPE）に基づくサブワード分割アルゴリズム。テキストを文字単位から出発し、出現頻度の高い隣接ペアを繰り返しマージして語彙を構築する。GPT系列・LLaMA・Mistralなど主要LLMの標準トークナイザー方式。

LLM学習で最も広く使われるサブワードトークン化アルゴリズム。頻出するバイト/文字ペアを繰り返し結合してボキャブラリーを構築する。GPT-2/3/4・Llama・Mistralなど主要LLMで採用され、未知語を複数サブワードに分割する柔軟性が特徴。

RLHFで最も広く使われる方策勾配型強化学習アルゴリズム。クリッピングによる信頼領域制約で学習の安定性を確保しつつ、効率的な方策更新を実現する。

テキスト生成において複数の候補系列（ビーム）を並行して探索し、全体として最も高い確率を持つ系列を選択するデコーディング手法。機械翻訳や音声認識で広く使用され、Greedy Decodingより高品質な出力を実現するが計算コストが増大する。

LLMデコーディングで複数の候補シーケンスを並列に展開・スコアリングし最良シーケンスを選ぶ手法。Beam幅Kを維持しながら逐次展開。高品質だが計算コストが高く多様性が低い。

LLMのテキスト生成において、幅（ビーム数）k個の候補文列を同時に保持しながら、最も高い累積確率を持つシーケンスを探索するデコーディング手法。貪欲法より高品質な出力が得られるが、繰り返しや短文化バイアスが生じやすい。

Pika Labs (Stanford 卒業生 2023年起業) 動画生成 AI。Pika 1.5 (2024/10)・Image-to-Video + Text-to-Video・$10-$70/月・Sora の競合・YouTube ショート向け。

2024年12月19日Pika Labs公開Pika 2.0。Pro Pika系譜後継 + Pro 2024年最後Pro Famous Text-to-Video AI公開 + Pro Pikaffects Pro Famous(物体変形特殊効果) + Pro Scene Ingredients(複数Image合成) + Pro 6秒動画 + Pro 1080p + Pro Subscription $10/月 + 累計Heritage。

UC Berkeley等が開発したVicunaモデルが採用する会話テンプレート。`USER:`/`ASSISTANT:`のラベルで発話を区切り、長めのシステムプロンプトとともにSFT（Supervised Fine-Tuning）に用いられた形式。

2024年9月Mistral AI発表Pixtral・Industry-leading 12B European VLM + Industry-leading 128K context + Industry-leading variable image size native + Industry-leading Mistral AI Pixtral Apache 2.0 European 12B VLM 2024。

2024年Q3 Mistral AI (仏Paris・2023年Arthur Mensch + Timothée Lacroix + Guillaume Lample (元Meta AI) 共同創業・累計funding $640M+/Series B + $6B valuation・欧州AI startup leader + Open weights LLM specialty brand) 発表Pixtral 12B・Industry-leading Open-source multimodal LLM・Mistral first multimodal Open weights model + Apache 2.0 license + 12B parameters + Vision encoder integrated + Industry-leading Open multimodal LLM Pioneer + Industry-leading Cost-effective multimodal LLM + 欧州AI Industry-leading Open weights multimodal brand。

Mistral AIが2024年9月にリリースしたビジョン言語モデル。12Bパラメータのテキスト+画像入力対応で、可変解像度画像処理とMistral Nemoエンコーダーを組み合わせた初のマルチモーダルモデル。

2024年Meng et al. + BJTU (Beijing Jiaotong University)発表PiSSA paper・Industry-leading Principal Singular values + Vectors Adaptation paradigm + Industry-leading SVD-based PEFT + Industry-emerging PiSSA BJTU Pioneer。

自然言語の表現（テキスト記述や指示）を画像内の特定領域に対応付けるタスク。「赤い帽子をかぶった人」というテキストが画像のどの部分を指しているかをバウンディングボックスやセグメンテーションマスクで特定する技術である。

画像の視覚特徴とテキストの言語表現を同一埋め込み空間に対応づける学習手法。CLIPが代表例。

Vision Transformerは、人工知能・機械学習分野における重要な概念・技術です。

画像（視覚情報）とテキスト（言語情報）を統合的に処理するAIモデルの総称。画像キャプション生成、視覚的質問応答（VQA）、画像検索など、視覚と言語を橋渡しするタスクに特化した設計を持つ。