Neural Architecture Search（NAS）（ニューラルアーキテクチャサーチ）
ニューラルネットワークの構造（層数・接続パターン・演算の種類など）を自動的に探索・最適化する技術。人手による試行錯誤を排し、タスクやハードウェア制約に最適なモデル構造を機械的に発見する。
Neural Architecture Search（NAS）とは
Neural Architecture Search（NAS）は、ニューラルネットワークのアーキテクチャ設計を自動化する機械学習技術だ。従来は研究者やエンジニアが経験と直感に基づいて層数・カーネルサイズ・接続パターンなどを決定していたが、NASではこの設計プロセス自体を最適化問題として定式化し、アルゴリズムに解かせる。
NASが注目される背景
2017年にGoogle Brainが発表したNASNet論文が転換点となった。ImageNetで人手設計のモデルを上回る精度を達成し、「AIがAIを設計する」というコンセプトが現実のものとなった。その後EfficientNet（2019年）やEfficientNetV2（2021年）など、NASで発見されたアーキテクチャが画像認識のSOTAを更新し続けている。
2025-2026年にはLLM向けのNASも本格化しており、Transformer内部のAttentionヘッド数・FFN次元・層の深さなどをNASで最適化する研究が急増している。
NASの3要素
NASは以下の3つの要素で構成される。
| 要素 | 説明 | 具体例 |
|---|---|---|
| 探索空間（Search Space） | 候補となるアーキテクチャの設計範囲 | 層数1-50、カーネル3x3/5x5/7x7、接続パターン |
| 探索戦略（Search Strategy） | 探索空間から最適解を見つける方法 | 強化学習、進化的アルゴリズム、勾配法、ベイズ最適化 |
| 性能評価（Performance Estimation） | 候補アーキテクチャの良し悪しを評価する手法 | フル学習、Early Stopping、Weight Sharing、Proxy Task |
主要なNAS手法の比較
| 手法 | 発表 | 探索戦略 | 探索コスト | 代表的な成果 |
|---|---|---|---|---|
| NASNet | 2017 Google Brain | 強化学習（RNN Controller） | 500 GPU-days | ImageNet Top-1 82.7% |
| AmoebaNet | 2019 Google Brain | 進化的アルゴリズム | 3,150 GPU-hours | ImageNet Top-1 83.1% |
| DARTS | 2019 CMU | 勾配ベース（連続緩和） | 1.5 GPU-days | CIFAR-10 2.76% error |
| EfficientNet | 2019 Google | Grid Search + NAS | 非公開 | ImageNet Top-1 84.3% |
| ProxylessNAS | 2019 MIT | 勾配ベース＋HW制約 | 200 GPU-hours | Mobile向け最適化 |
| OFA（Once-for-All） | 2020 MIT | Progressive Shrinking | 1,200 GPU-hours | 1回学習で多デバイス対応 |
探索コストの課題と解決策
初期のNASNet は500 GPU-daysという膨大な計算資源を必要とした。NVIDIA V100を500台で1日、またはV100 1台で約1.4年に相当するコストだ。
Weight Sharing（パラメータ共有）
SuperNet（全候補を含む巨大ネットワーク）を1回だけ学習し、サブネットワークの重みを共有する。ENAS（2018年）で提案され、探索コストを1,000倍以上削減した。
Proxy Task
CIFAR-10のような小規模データセットで探索し、発見したアーキテクチャをImageNetにスケールアップする。精度の序列が保存される前提だが、常に成立するわけではない。
Zero-Cost Proxy
学習なしでアーキテクチャの品質を推定する手法。Jacobian共分散（NASWOT）やSynFlow指標が代表的で、GPU秒単位での評価が可能だが精度は限定的。
LLM時代のNAS
Transformerアーキテクチャ内部のハイパーパラメータ（Attention Head数、FFN Hidden Dim、Layer数、Positional Encoding方式）をNASで最適化する研究が増えている。
- AutoTinyBERT（Huawei, 2023）: BERT系モデルのサイズとレイテンシを同時最適化
- LLM-NAS（2024）: GPT系モデルの層構成をNASで探索し、パラメータ効率を15%改善
- Mixture-of-Depths（Google, 2024）: 層ごとの計算量を動的に配分する構造をNASで発見
FAQ
Q: NASで見つかったモデルは人手設計より常に優れますか？
A: 特定のタスク・制約条件下では人手設計を上回ることが多い。ただしNASは探索空間の設計自体が人手であり、探索空間が不適切なら良い解は見つからない。ResNetやViTのようなパラダイムシフト的な発明はNASからは生まれにくい。
Q: NASを実務で使うにはどの程度の計算資源が必要ですか？
A: DARTSベースの手法なら単一GPU（RTX 4090やA100）で1〜4日程度の探索が可能だ。Weight Sharing＋Early Stoppingを組み合わせれば、さらに短縮できる。クラウドならGoogle Cloud AutoMLやAWS SageMaker Autopilotが内部でNASを活用している。
Q: NASとAutoMLの違いは何ですか？
A: NASはAutoMLの一部分だ。AutoMLはデータ前処理・特徴量選択・ハイパーパラメータチューニング・モデル選択を包括する概念で、NASはその中の「モデル構造の自動設計」に特化した技術を指す。