IA³（インジェクテッドアダプタ）（アイエーキュービック インジェクテッドアダプタ）

Attention層:
  Key行列の出力:   h_k = l_k ⊙ W_k x   （l_k: 学習可能なスケール）
  Value行列の出力: h_v = l_v ⊙ W_v x   （l_v: 学習可能なスケール）

FFN層:
  活性化関数の出力: h_ff = l_ff ⊙ γ(W_1 x)  （l_ff: 学習可能なスケール）

⊙ = 要素積（Hadamard積）

# IA³の本質的な実装（概念コード）
class IA3Attention(nn.Module):
    def __init__(self, base_attention, d_k, d_v):
        super().__init__()
        self.attn = base_attention
        self.l_k = nn.Parameter(torch.ones(d_k))
        self.l_v = nn.Parameter(torch.ones(d_v))
    
    def forward(self, x):
        K = self.attn.key(x) * self.l_k
        V = self.attn.value(x) * self.l_v
        Q = self.attn.query(x)
        return self.attn.attention(Q, K, V)