Attention

概要

Attention機構は、ニューラルネットワークが入力シーケンスの特定の部分に重点を置くことを可能にするメカニズム。特に、Transformerモデルにおいて、自己注意機構 (Self-Attention) は、文脈理解と長距離依存性の学習に不可欠な役割を果たす。従来のRNNやLSTMに比べ、並列処理が可能で、勾配消失問題を緩和する。

詳細説明

Attention機構は、Query (クエリ)、Key (キー)、Value (バリュー) の3つの要素で構成される。Queryは、どの情報に注意を払うかを決定する役割。Keyは、各要素の特徴を表し、Queryとの関連度を計算するために使用される。Valueは、注意を払うべき要素の値。 注意スコアは、QueryとKeyの内積（または他の類似度関数）で計算され、通常はソフトマックス関数を通して確率分布に変換される。この確率分布が注意の重みとなり、Valueに掛け合わされ、加重和がAttentionの出力となる。自己注意機構では、Query, Key, Valueはすべて同じ入力シーケンスから派生する。Multi-Head Attentionは、複数のAttention機構を並列に実行することで、より多様な文脈情報を捉えることを可能にする。

関連用語

• Transformer
• Self-Attention
• Multi-Head Attention
• Query
• Key
• Value
• Softmax
• RNN
• LSTM
• Embedding

実用例

• 自然言語処理: 機械翻訳、テキスト要約、質問応答。Transformerモデルの中核となる技術で、特に大規模言語モデル(LLM)の性能向上に大きく貢献している。
• 画像認識: 画像内の重要な領域に焦点を当てて、より正確な分類や物体検出を行う。
• 音声認識: 音声信号の重要な部分に注意を払い、ノイズの影響を軽減する。

注意点

• 計算コストが高い：特にシーケンス長が長くなると、計算量が増大する。Sparse AttentionやLinear Attentionなどの効率化手法が存在する。
• 解釈可能性：Attentionスコアを可視化することで、モデルがどのような部分に注目しているかを理解するのに役立つが、注意スコアを過度に解釈すると誤解を招く可能性がある。
• ハイパーパラメータの調整：Attentionの性能は、Attentionヘッドの数、Key/Valueの次元数、活性化関数などのハイパーパラメータに大きく依存する。