Natural Language Processingは、人工知能・機械学習分野における重要な概念・技術です。
Natural Language Processing（自然言語処理、NLP）は、人間の言語（テキスト、音声）をコンピュータで処理・理解・生成する技術分野です。1950 年代から研究され、2010 年代後半から深層学習、特に Transformer の登場によって劇的に進化しました。現代では ChatGPT、Google 検索、DeepL 翻訳、Siri などの形で日常生活に深く浸透し、人類の言語活動を支える基盤技術となっています。
テキストから人名、地名、組織名、日付などを抽出：
「田中さんは昨日東京で会議に出席した」
→ 田中（人名）、昨日（日付）、東京（地名）
代名詞が何を指すかを特定：
「太郎は本を買った。彼はそれを読んだ。」
→ 彼 = 太郎、それ = 本
文の構造を解析：
「太郎が花子にプレゼントを贈った」
→ 動作主: 太郎、対象: 花子、物: プレゼント
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
result = classifier("I love this movie!")
print(result)
# [{'label': 'POSITIVE', 'score': 0.999}]
import spacy
nlp = spacy.load("ja_ginza")
doc = nlp("東京から大阪まで新幹線で行きました。")
for token in doc:
print(token.text, token.pos_, token.dep_)
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "user", "content": "機械学習について説明して"}
]
)
print(response.choices[0].message.content)
| 用途 | GPU | VRAM |
|---|---|---|
| 推論（BERT） | GTX 1660 | 6GB |
| ファインチューニング（BERT） | RTX 4060 Ti | 16GB |
| LLM 推論（7B） | RTX 4060 Ti | 16GB |
| LLM 推論（70B） | RTX 4090 × 2 | 48GB+ |
| LLM 学習 | A100 | 80GB |