CNN / LeNet-5 (1998年)（シーエヌエンレネット）

CNN / LeNet-5 (1998年)

概要

CNN (Convolutional Neural Network・畳み込みニューラルネット) は1989年Yann LeCun (1960-・フランス生・Bell Labs 1988-1996年・後AT&T Labs・NYU 教授 2003年-・後Facebook AI Research FAIR 設立 2013年-・2018年Turing Award・「Deep Learning の3人の父」の1人 Geoffrey Hinton・Yoshua Bengio と共同受賞) が「Backpropagation Applied to Handwritten Zip Code Recognition」(Neural Computation 1989年) 論文で提案・1998年LeNet-5 (LeCun・Bottou・Bengio・Haffner「Gradient-Based Learning Applied to Document Recognition」Proceedings of the IEEE 1998年) で完成形・畳み込み層 (Convolution) +プーリング層 (Pooling・Max/Average) +全結合層 (Fully Connected) 採用しMNIST (1998年LeCun) 手書き数字認識・米国郵便番号読み取り・銀行小切手OCR (NCR・1990年代-2000年代北米10-20% の銀行小切手処理 LeNet で実用) 実用化に成功し2012年AlexNet (Krizhevsky・Hinton・Sutskever・Toronto) で完全復活した現代Deep Learning の祖先となった歴史的アルゴリズム。

主な特徴・仕組み

• 発表: 1989年Yann LeCun「Backpropagation Applied to Handwritten Zip Code Recognition」Neural Computation
• 完成形: 1998年LeNet-5 (LeCun et al. Proceedings of the IEEE)
• 開発者: Yann LeCun (主導)・Léon Bottou・Yoshua Bengio・Patrick Haffner (1998年論文共著)
• アーキ層:
  • Convolution (畳み込み): 局所的特徴抽出・カーネル (Filter) スライド
  • Pooling (プーリング): Max/Average で空間圧縮・位置不変性確保
  • Fully Connected (全結合): 最終分類
• 革新: 「局所特徴抽出+空間階層+パラメータ共有」で画像認識に特化
• タスク: 手書き数字認識 (MNIST・10クラス)・米国郵便番号OCR・銀行小切手OCR

Yann LeCun の物語

Deep Learning の3人の父の1人:

• 1960年生まれ: フランスSoissons
• 大学: ESIEE Paris (1983年) ・Université Pierre et Marie Curie 博士 (1987年)
• 博士論文: 1987年「Learning Process in Asymmetric Threshold Networks」(ニューラルネット学習・先駆的)
• 1988-1996年Bell Labs 研究員: AT&T 研究所・1989年CNN 論文・1998年LeNet-5
• 2003年NYU 教授: New York University・Courant Institute・現代も継続
• 2013年Facebook AI Research (FAIR) 創設: Facebook 全社AI 研究所・Mark Zuckerberg 個人招聘
• 2018年Turing Award: Geoffrey Hinton (Toronto)・Yoshua Bengio (Montréal) と共同・「Conceptual and Engineering Breakthroughs that have made deep neural networks a critical component of computing」
• 2024年現代: Meta (Facebook) Chief AI Scientist・FAIR 主席・現代AI 業界の重鎮の1人

LeNet シリーズ (1989-1998年)

CNN 進化:

• LeNet-1 (1989年): 5層・郵便番号認識
• LeNet-2-4 (1989-1995年): 改良版・各種文字認識
• LeNet-5 (1998年・完成形): 7層 (Conv1-Pool1-Conv2-Pool2-Conv3-FC1-FC2)・MNIST 手書き数字認識
• 後継: AlexNet (2012年・8層・ImageNet 革命)・VGG (2014年・16-19層)・ResNet (2015年・100+層)・Vision Transformer (2020年-)

MNIST (Modified National Institute of Standards and Technology・1998年LeCun)

機械学習の標準データセット:

• 作成: 1998年Yann LeCun・Corinna Cortes (現Google Research) ・Christopher Burges (Microsoft)
• データ: 60,000 学習画像+10,000 テスト画像・28×28 px 手書き数字 (0-9)
• 元データ: 米国国勢調査局 (NIST) の手書き数字
• 影響: 「機械学習の Hello World」・全AI 入門書・コースで標準教材
• 後継: CIFAR-10 (2009年Krizhevsky)・ImageNet (2009年Fei-Fei Li・百万画像)・現代AI 業界の評価基準

銀行小切手OCR 実用化 (1990年代-2000年代)

LeNet の商業成功:

• NCR Corporation (米国・ATM/銀行端末メーカー): 1990年代LeNet を銀行小切手読み取りシステムに採用
• 実用規模: 1990年代-2000年代北米10-20% の銀行小切手 (推定数千万枚/日) を LeNet で処理
• 意義: 「Deep Learning が初めて商業大規模実用化」(2012年AlexNet 前)・但しAI ブームに繋がらず
• 後継: 2012年AlexNet 以降の Deep Learning ブームでCNN が画像認識主流化

1989-2012年CNN の「冬」

LeNet 商業成功でも研究停滞:

• 1989-1995年LeCun が Bell Labs で CNN 研究: 商業成功 (NCR 採用) だが学術界では限定的
• 1995-2010年機械学習主流は SVM (Support Vector Machine 1995年Vapnik): 線形分離器・「データ不足時代に最適」評価
• 2009年ImageNet データセット公開 (Fei-Fei Li・Stanford・百万画像・1000クラス): CNN 大規模学習可能化
• 2010年NVIDIA Fermi/Kepler GPU 普及: 並列計算でCNN 学習高速化
• 2012年9月AlexNet (Krizhevsky・Hinton・Sutskever): ImageNet 大幅勝利 (Top-5 Error 15.3% vs 26.2%)・CNN 完全復活
• 歴史的評価: 「LeNet (1998年) は時代を先取り過ぎた」・データ不足とコンピュータパワー不足で1990-2000年代は SVM 主流に敗北・但しデータ豊富+GPU で2012年復活

1998-2024年CNN の系譜

26年継承:

• 1989年LeCun CNN 論文 (Bell Labs): 概念提案
• 1998年LeNet-5 (LeCun): 完成形
• 2012年9月AlexNet (Krizhevsky・Hinton・Sutskever・Toronto): ImageNet 革命
• 2014年VGGNet (Simonyan・Zisserman・Oxford): 16-19層
• 2014年GoogLeNet/Inception (Szegedy・Google): Inception モジュール
• 2015年ResNet (He・Microsoft Research): Residual Connection・100+層
• 2017年MobileNet (Howard・Google): モバイル向け効率化
• 2018年EfficientNet (Tan・Google): スケーリング法則
• 2020年Vision Transformer (Dosovitskiy・Google): Transformer ベース・CNN を超越
• 2024年現代CNN+ViT ハイブリッド: ConvNeXt・等で現代も研究継続

関連技術との違い

よくある質問 (FAQ)

Q1: なぜLeNet-5 が1998年完成形と呼ばれるか？ A: 1989年LeNet-1 から1998年LeNet-5 までの10年改良の集大成・7層構造 (Conv-Pool-Conv-Pool-Conv-FC-FC) が現代CNN の標準アーキ・1998年論文「Gradient-Based Learning Applied to Document Recognition」(Proceedings of the IEEE) で詳細仕様公開・以降全CNN 教科書の基本例題として2024年現代も教育で利用。

Q2: なぜCNN が1998-2012年「冬」だったか？ A: (1) データ不足 (MNIST 60,000 枚は小規模・ImageNet 2009年まで百万画像データセット存在せず)・(2) コンピュータパワー不足 (CPU 学習で1990年代CNN 学習に数日-数週間)・(3) SVM (1995年Vapnik) ・Random Forest (2001年Breiman) 等の機械学習が「データ不足時代に最適」評価・(4) Deep Learning 研究者少数 (LeCun・Hinton・Bengio のみ継続研究)・(5) 2009年ImageNet+2010年NVIDIA GPU+2012年AlexNet で復活・全要因で「14年の冬」評価。

Q3: 現代でLeNet-5 学ぶ価値は？ A: 大いにあり。(1) 全現代CNN (AlexNet・VGG・ResNet・MobileNet・EfficientNet) の基礎・(2) Deep Learning 入門の標準教材 (PyTorch/TensorFlow チュートリアル)・(3) ImageNet レベルの大規模学習が不要な小規模問題に最適・(4) AI/ML Engineer の必須基礎知識・(5) Computer Vision (画像認識・物体検出・セマンティック分割) の出発点・新卒/転職市場で重要基礎スキル。

まとめ

• 1989年Yann LeCun (Bell Labs) 提案・1998年LeNet-5 完成
• 畳み込み+プーリング+全結合
• MNIST 手書き数字認識
• 銀行小切手OCR で実用化
• 2012年AlexNet で完全復活・現代Deep Learning 祖先