Tower LLM（タワーエルエルエム）

Stage 1: Llama 2 (7B/13B)
  ↓
Stage 2: 多言語継続事前学習
  - 翻訳ペアコーパス: CCAligned/CCMatrix/OPUS
  - 多言語モノリンガル: Wikipedia/mC4
  - 総トークン数: 約20B tokens
  ↓
Stage 3: 翻訳指示ファインチューニング
  - 翻訳タスク形式: "Translate from [src] to [tgt]: [text]"
  - WMT学習データ / Flores-200
  - COMET-DAフィードバックによる品質フィルタリング
  ↓
Tower 7B / Tower 13B (最終モデル)

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "Unbabel/TowerInstruct-7B-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

prompt = """Translate the following text from English to Japanese.
English: The model achieves state-of-the-art performance on multiple benchmarks.
Japanese:"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))