# 量子化範囲の決定
min_val = tensor.min()
max_val = tensor.max()
scale = (max_val - min_val) / 255
zero_point = round(-min_val / scale)

# INT8への変換
int8_tensor = round(tensor / scale) + zero_point

# モデルの量子化
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_quant_model = converter.convert()

# 動的量子化
import torch.quantization as quantization
quantized_model = quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8
)

# INT8推論の実行
sess_options = ort.SessionOptions()
sess_options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_ALL
session = ort.InferenceSession("model_int8.onnx", sess_options)

# 重要な層はFP16、その他はINT8
model.layer1.precision = "FP16"
model.layer2.precision = "INT8"

### エッジデバイス
- **スマートフォン**: カメラAI処理
- **IoTデバイス**: センサーデータ解析
- **ドローン**: リアルタイム画像認識
- **車載システム**: ADAS機能


### クラウド推論
- **大規模展開**: コスト削減
- **レイテンシ削減**: 高速レスポンス
- **電力削減**: データセンター効率化


### INT4推論
- **さらなる高速化**: 2倍の性能向上
- **精度課題**: より高度な量子化技術
- **ハードウェア**: 専用命令の追加


### 自動量子化
- **AutoML統合**: 自動最適化
- **精度保証**: 目標精度の自動達成
- **適応的量子化**: 動的な精度調整


### 新しいデータ型
- **BF16**: 学習と推論の中間
- **FP8**: 次世代の標準候補
- **カスタム型**: タスク特化型


INT8推論は、AI推論の高速化と効率化を実現する重要な技術です。適切に実装すれば、精度をほぼ維持しながら大幅な性能向上が可能です。エッジからクラウドまで幅広い場面で活用され、AI の実用化を支える基盤技術となっています。