【2026年】データサイエンティストLLM Fine Tune PC｜Axolotl+DeepSpeed+LoRA

NVLink については注意が必要です。RTX 4090 はコンシューマー向け製品であり、NVLink（GPU 間を高速で接続する専用リンク）のサポートが廃止されています。そのため、2 枚の RTX 4090 を PCIe バス経由で通信させる必要があります。しかし、Threadripper の SP5 ソケットと対応マザーボード（例：ASUS Pro WS TRX50E-SAGE など）を使用することで、PCIe Gen5 x16 のスロットを 2 つ確保可能です。これにより、GPU A と GPU B 間のデータ転送速度は PCIe バスの帯域幅に依存しますが、Zeno-Zero-3 や Gradient Sharing のような DeepSpeed の機能を活用すれば、通信オーバーヘッドを最小化し、実質的な学習性能を最大化できます。もし NVLink を必要とするユースケースがある場合は、RTX 6000 Ada Generation などプロ向け GPU に変更する必要がありますが、コストパフォーマンスの観点からは RTX 4090 x2 が最適解です。

冷却対策もデュアル構成では重要な課題となります。RTX 4090 は TDP（熱設計電力）が最大 450W に達し、発熱量が非常に大きいです。2 枚同時に稼働すると、ケース内の温度は急激に上昇します。特に PC 内部の排気経路が狭いと、GPU 同士が互いに高温な空気を吸い込み合う「エアフローの競合」が発生し、サーマルスロットリング（熱による性能低下）を引き起こします。これを回避するためには、ケースサイズを ATX ミドルタワーではなく E-ATX やワークステーション向けフルタワーケースにすることをお勧めします。また、ファン制御を BIOS 設定で強制的に最大回転数に固定するか、高静圧のケース用ファン（例：Noctua NF-A14）を追加して、排気ファンの数を増やすことで効果的な空気の流れを作ります。

ストレージ選定：高速読み込みのための PCIe 5.0 SSD と RAID 構成

LLM ファインチューニングでは、膨大なデータセットを継続的に読み込む必要があるため、ストレージの I/O パフォーマンスが学習速度に直結します。2026 年時点では、PCIe 4.0 の SSD も一般的ですが、本構成では PCIe 5.0 M.2 SSD の採用をお勧めします。具体的には Samsung 990 PRO 2TB または WD Black SN850X 2TB を 2 枚使用し、RAID 0 構成で動作させると実効速度が 14,000 MB/s に達する可能性があります。これにより、データセットのロード時間が従来比で約半分になり、GPU が待機する時間を減らせます。特に Axolotl の設定において num_workers パラメータを高く設定できるため、CPU コアがストレージ読み込みを担当し、GPU は計算に専念する理想的な状態を維持できます。

ただし、高速 SSD を 2 枚使用する場合、データ安全性への配慮も必要です。RAID 0 は速度は向上しますが、1 ドライブ故障時に全データが消失するリスクがあります。データサイエンティストのワークフローでは、学習済みのモデルチェックポイントや、処理中のデータセットをバックアップすることが必須となります。そのため、推奨構成としては「システム用 SSD」に PCIe 5.0 を採用し、「アーカイブ・バックアップ用」として大容量の HDD または SATA SSD を別途用意するハイブリッド構成が現実的です。具体的には、1TB の M.2 SSD に Linux OS と Axolotl の環境をインストールし、2TB または 4TB の NVMe SSD にデータセットを配置します。また、定期的なバックアップのために USB 3.0 または Thunderbolt 接続の外付け SSD ドライブを用意し、学習完了後のモデルファイルを保存するフローを確立しておきます。

SSD の寿命も考慮する必要があります。高頻度での書き込みが行われるファインチューニング環境では、TBW（Total Bytes Written）を気にする必要が出てきます。PCIe 5.0 SSD は耐障害性が高いですが、長時間の学習ジョブでは、チェックポイント保存時に大量のデータが書き込まれます。2026 年現在の製品トレンドとして、耐久性を強化した Enterprise Grade の M.2 SSD が安価に入手可能になっています。例えば、Micron 9400 PRO や Intel Optane 後継モデルなどを使用することで、ドライブの寿命を気にせず運用することが可能になります。また、OS の起動時間短縮のため、SSD を NVMe RAID コントローラに接続する構成も検討できますが、コストと複雑さのバランスを考慮し、直接 Motherboard に M.2 スロットを 3 つ以上持つボードを選ぶのが無難です。

電源ユニット（PSU）と冷却対策の難易度：1600W の重要性

LLM ファインチューニング用 PC を構築する際、最も過小評価されがちなのが電源ユニット（PSU）と冷却システムです。Threadripper 7980X の TDP は約 350W で、RTX 4090 が 2 枚で最大 900W を消費します。これにマザーボード、メモリ、ファンなどを加算すると、ピーク時の消費電力は 1,200W に達する可能性があります。しかし、電源ユニットの効率は負荷率によって変動するため、余裕を持って 1,600W のユニットを選定することが推奨されます。具体的には、Seasonic PRIME TX-1600 や Super Flower Leadex VII Titanium などのモデルが適しています。これらは 80PLUS Titanium 認証を取得しており、高負荷下でも高い変換効率を維持し、発熱と電力コストを抑えます。

また、電源のレール構成も重要です。RTX 4090 は 12VHPWR コネクタを採用しており、従来の PCIe 8pin コネクタとは異なります。このコネクタは端子間の接触不良により過熱・溶融するリスクが過去に指摘されているため、ケーブルの曲げ半径を適切に保つことが不可欠です。特に Threadripper の SP5 ソケットマザーボードでは、CPU 電源コネクタ（8pin または 12+4pin）が複数必要となる場合があり、これらの配線管理も重要です。高品質なモジュラーケーブルを使用し、ケース内のエアフローを妨げないよう整理することが、システムの安定稼働に直結します。さらに、長時間の学習において電源が不安定になると再起動を余儀なくされ、数日間の学習が失われるリスクがあるため、UPS（無停電電源装置）の導入も検討すべきです。

冷却システムについては、空冷と水冷のバランスが鍵となります。RTX 4090 は通常空冷ですが、2 枚挿しでは排気熱が蓄積しやすいです。そのため、ケースファンの配置を「前面から吸入→背面・上面へ排出」という流れにし、GPU の排気を直接ケース外へ逃す設計が必要です。CPU クーラーについては、Threadripper 7980X の巨大なヒートシンクとコア面積を考慮し、240mm または 360mm AIO（All-in-One）水冷クーラーを採用します。ただし、AIO パイプがマザーボードや GPU と干渉しないよう配置を確認する必要があります。また、ケース内の温度計を設置し、学習開始前にアイドル時の CPU/GPU 温度を測定しておくことを推奨します。2026 年時点では、AI 制御ファンカーブを搭載したマザーボードも普及しており、負荷に応じて自動的に冷却性能を最適化する機能を活用することで、噪音を抑えつつ冷却効率を最大化できます。

Axolotl と DeepSpeed の連携設定ガイド：YAML ファイルの書き方

Axolotl を使用してファインチューニングを実行する際の核心は、YAML 設定ファイルの記述にあります。このファイルは、学習パラメータ、モデル設定、データ処理方法などを定義し、Axolotl が DeepSpeed や Transformers ライブラリに指示を出すための地図となります。2026 年時点の最新バージョンでは、config.yml という名前で保存されることが多く、Llama 3.3 のアーキテクチャに合わせたデフォルトテンプレートが用意されています。例えば、学習率（learning_rate）は 1e-4 から 5e-5 の範囲で調整し、バッチサイズ（batch_size）は VRAM と相談して決定します。DeepSpeed 設定を有効にするには、deepspeed_config_type: zero2 または zero3 を指定し、メモリオフロードのレベルを設定します。

具体的な YAML ファイルの構成例を示します。まず、base_model に使用モデルのパス（例：meta-llama/Llama-3.3-8B-Instruct）を記述し、lora セクションで LoRA のパラメータを設定します。ここで r: 64, alpha: 128 と指定することで、LoRA ランクを調整できます。また、q_lora を真に設定すると、QLoRA モードとなり、4bit 量化されたモデルが使用されます。この場合、max_seq_length: 4096 などのコンテキストウィンドウ長も指定可能です。さらに、gradient_accumulation_steps を 1 にし、バッチサイズをローカルで調整することで、VRAM の使用効率を最適化できます。以下に、RTX 4090 x2 と Threadripper 7980X を想定した設定例の一部を示します。

base_model: meta-llama/Llama-3.3-70B-Instruct
model_type: LlamaForCausalLM
tokenizer_type: AutoTokenizer
load_in_4bit: true
lora_q_proj: false
lora_k_proj: false
lora_v_proj: false
lora_out_proj: false
lora_attn_modules: ["q_proj", "k_proj", "v_proj"]
lora_alpha: 16
lora_dropout: 0.05

output_dir: ./lora_output
sequence_len: 4096
sample_packing: true
pad_to_sequence_length: false

gradient_checkpointing: true
gradient_accumulation_steps: 2
micro_batch_size: 1
per_device_train_batch_size: 1
batch_size: 16

learning_rate: 2.0e-4
warmup_ratio: 0.1
lr_scheduler_type: cosine

deepspeed: deepspeed_config.json

この設定ファイルを保存した後、AXOLOTL コマンドラインを実行します。axolotl --config config.yml --model_path ./checkpoints のように指定し、学習を開始します。DeepSpeed 設定ファイル deepspeed_config.json も別途作成する必要があります。ここでは stage: 2（ZeRO-2）を指定し、offload_optimizer_device: cpu を有効にすることで、システムメモリへのオフロードを許可します。これにより、VRAM の不足分を CPU メモリで補完し、学習プロセスを継続可能にします。また、fp16: true または bf16: true を設定して混合精度学習を有効化し、計算速度とメモリ効率のバランスを取ります。2026 年時点では、BF16（Brain Float 16）が RTX 4090 でサポートされているため、これを使用するのが効率的です。

QLoRA と LoRA の違いと Llama 3.3 対応状況：精度と速度のトレードオフ

QLoRA（Quantized Low-Rank Adaptation）は、LoRA の技術に量化（Quantization）を組み合わせた手法であり、メモリ使用量を大幅に削減しつつ学習精度を維持する画期的なアプローチです。通常の LoRA ではモデルの重み（パラメータ）が 16bit フロートとして VRAM に保持されますが、QLoRA ではこれを 4bit または 8bit に圧縮して保存します。これにより、VRAM の使用量が約半分以下に抑えられ、RTX 4090 2 枚（合計 48GB）で Llama 3.3-70B モデルのファインチューニングが可能になります。ただし、量化には精度の低下というトレードオフが伴いますが、QLoRA の実験結果では、LoRA と同等の性能を達成できることが確認されています。特に Axolotl では load_in_4bit: true を設定するだけで QLoRA モードが有効化されるため、データサイエンティストにとって非常に手軽に試せる機能となっています。

2026 年時点での Llama 3.3 は、Llama 3 の後継として、より長いコンテキストウィンドウ（最大 128k トークン）と改善された推論能力を備えています。しかし、この進化によりモデルサイズが増加し、従来の 7B や 8B モデルよりも VRAM 要求が高まっています。LoRA のみを使用する場合、70B モデルのファインチューニングには 128GB 以上の VRAM が推奨されますが、QLoRA を使用すれば RTX 4090 2 枚でも対応可能です。ただし、QLoRA では学習後の推論時にモデルを元に戻す（デクォンタイズ）必要があるため、学習時間の短縮と推論時の速度向上のバランスが取れた設定が必要です。また、QLoRA は 8bit モードでも使用可能で、精度と VRAM の中間的な性能を発揮します。

Axolotl で QLoRA を使用する際の注意点として、load_in_4bit: true と bnb_4bit_compute_dtype: "bfloat16" の設定が重要です。これにより、計算プロセスにおいて高精度なデータ形式を使用し、精度低下を防ぎつつ VRAM 節約を実現します。また、QLoRA を使用する際は、LoRA のランク（r パラメータ）を少し高く設定することで、学習の柔軟性を確保できます。具体的には lora_r: 128 と設定し、より多くの自由度を持たせます。Llama 3.3 はその構造において Transformer アーキテクチャを採用しており、クエリとキーの投影行列（Q/K Project）への LoRA の適用が特に有効です。Axolotl のデフォルト設定ではこの自動調整が行われますが、カスタマイズが必要な場合は target_modules を明示的に指定します。

パーツ構成比較表：コストパフォーマンスと性能のバランス

本セクションでは、複数の PC 構成案を比較し、データサイエンティストの予算やニーズに応じて最適な選択ができるよう表形式で提示します。各構成は CPU、GPU、メモリ、ストレージ、電源ユニットの仕様を含み、2026 年 4 月時点での概算価格も反映しています。これにより、ユーザー自身がコスト対効果を判断しやすくなります。

構成 A は、本記事のメインテーマである RTX 4090 x2 と Threadripper 7980X の組み合わせです。コストパフォーマンスに優れ、Llama 3.3 の中規模モデルから大規模モデルまで幅広く対応可能です。構成 B は予算を抑えたい場合や、小規模なタスクに限られるエントリー機ですが、VRAM の限界により大規模学習は困難です。構成 C は、企業レベルでの本格的なファインチューニングを行う場合に推奨されますが、コストと電力消費が増加します。各構成の選択は、扱うモデルサイズ（7B, 13B, 70B）やデータセットの規模によって最適化されるべきです。

ソフトウェア環境構築手順：Axolotl と DeepSpeed のインストール

実際に PC を組み立てたら、次はソフトウェア環境の構築を行います。ここでは Linux OS（Ubuntu 24.04 LTS または 26.04）を前提に、Axolotl と DeepSpeed をインストールする手順を解説します。まず、Python 3.10 または 3.12 の仮想環境を作成し、依存関係を管理します。conda create -n axolotl_env python=3.10 コマンドで環境を構築し、conda activate axolotl_env で有効化します。その後、PyTorch の公式リポジトリから PyTorch バイナリをインストールします。RTX 4090 を使用するためには、CUDA 12.x がサポートされたバージョンを選択する必要があります。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

次に、Axolotl と DeepSpeed をインストールします。GitHub からソースコードをクローンし、ローカル環境で実行可能にします。git clone https://github.com/OpenAccess-AI-Collection/axolotl.git でリポジトリを取得し、cd axolotl でディレクトリに入ります。その後、pip install -e .[deepspeed] コマンドを実行することで、Axolotl 本体と DeepSpeed の依存関係を自動的にインストールします。この際、DeepSpeed はコンパイルに時間がかかる場合があるため、事前のビルド設定を確認しておく必要があります。また、2026 年時点では Hugging Face の Transformers ライブラリも最新バージョン（4.35 以上）を使用し、セキュリティアップデートを適用しておきます。

環境構築完了後、システムの状態確認を行います。nvidia-smi コマンドで GPU が 2 枚認識されているか、CUDA バージョンが 12.x であるかを確認します。また、Axolotl のバージョンは axolotl --version で確認可能です。設定ファイルのテストを実行し、エラーがないことを事前に検証しておきます。特に DeepSpeed 設定が正しく読み込まれているか、--deepspeed_config deepspeed_config.json を指定して実行します。万が一エラーが発生した場合は、ログを確認し、パーミッションやパスの問題を解決します。このように、丁寧な環境構築により、本番での学習開始までの時間を短縮できます。

性能評価とベンチマーク：学習時間の目安と最適化ポイント

構成が整ったところで、実際に学習させた際の性能評価について解説します。RTX 4090 x2 を搭載した PC で Llama 3.3-8B を QLoRA でファインチューニングする場合、1 エポックあたりの処理時間は約 15 分から 20 分が目安となります。これは、バッチサイズが 16、シーケンス長が 4096 の場合です。一方、Llama 3.3-70B を QLoRA で学習させる場合は、VRAM が限界に近い状態で動作するため、約 45 分から 1 時間程度を要します。DeepSpeed ZeRO-3 オフロードを活用することで、この時間を短縮できる可能性があります。

ベンチマークにおいて重要な指標は「サンプルあたりの処理速度（samples/s）」です。Axolotl のログには samples_per_second が表示されるため、これを確認して CPU と GPU のバランスが取れているか判断します。もし数値が低い場合、CPU 側のデータ読み込みがボトルネックとなっている可能性があり、num_workers パラメータを上げることで改善できます。また、GPU 利用率が常に 100% に達しているかが重要で、これが低下する場合は VRAM バウンドが発生している可能性があります。この場合、バッチサイズを小さくするか、ZeRO-3 を有効にしてメモリオフロードを強化することで回復します。

2026 年時点での最新ベンチマークデータによると、Threadripper 7980X を搭載した PC は、Ryzen 9 7950X と比較して、データ前処理の速度で約 30% の向上を示しています。これは、Axolotl が複数 CPU コアを活用する設計となっているためです。また、PCIe Gen5 SSD を使用することで、ディスク読み込み時間が短縮され、GPU ウェイト時間が減少します。具体的には、学習時間の全体で数％の短縮効果があり、長時間のジョブでは無視できない差となります。これらの最適化ポイントを意識して設定を調整することで、限られたリソースを最大限に活用できます。

よくある質問（FAQ）

Q1. Threadripper 7980X は AM5 ソケットの CPU と比較してどれほど高価ですか？ Threadripper 7980X の価格は、2026 年時点では約 80,000 円〜100,000 円程度です。一方、AM5 ソケットの Ryzen 9 7950X は約 40,000 円前後です。しかし、Threadripper は PCIe ライン数とメモリ容量で大きなメリットがあるため、LLM ファインチューニング用途では投資価値が高いです。

Q2. RTX 4090 を 2 枚挿す場合、ケースはどれを選ぶべきですか？ ATX ミドルタワーより [E-ATX](/glossary/atx) フルタワーが推奨されます。GPU の厚みと冷却スペースを確保するため、前面に大型ファンが付いているモデル（例：Lian Li O11 Dynamic XL など）が適しています。排気経路を確保し、熱がこもらない構造であることが必須です。

Q3. Axolotl で学習開始時に「CUDA Out of Memory」エラーが出ます。 これは VRAM 不足を示しています。max_seq_length を下げたり、バッチサイズ（micro_batch_size）を減らして試してください。また、DeepSpeed の zero_optimization を有効にすることで、VRAM の節約が可能です。

Q4. QLoRA と LoRA のどちらを使うべきですか？ 大規模モデル（70B 以上）や VRAM が限られる場合は QLoRA を推奨します。8B モデルなどで GPU が十分ある場合は LoRA で問題ありません。Axolotl では load_in_4bit: true で切り替え可能です。

Q5. メモリは ECC 必須ですか？ 学習の安定性を考えると ECC は推奨されますが、非 ECC でも動作します。Threadripper は ECC をサポートしているため、設定ファイルで有効化するだけで保護されます。コストを優先するなら非 ECC も選択肢です。

Q6. Axolotl のログに「Warning: DeepSpeed not installed」が出ます。 これは pip install deepspeed が未実行である可能性があります。仮想環境内で DeepSpeed をインストールするか、Axolotl のインストール時に [deepspeed] オプションを指定して再インストールしてください。

Q7. 電源は 1600W で十分ですか？ RTX 4090 x2 と Threadripper 7980X を使用する場合、ピーク時は 1,300W に達する可能性があります。1600W の PSU は余裕があるため十分ですが、より安全を考慮するなら 1800W または 2000W も選択肢です。

Q8. Llama 3.3-70B をファインチューニングする場合、何エポック必要ですか？ タスクによりますが、通常 5 エポックから 10 エポックで十分です。学習率を調整して早く収束させることが重要です。Overfitting（過学習）を防ぐために検証データでの評価を行い、早期停止を検討してください。

まとめ

本記事では、2026 年 4 月時点の技術動向を反映し、データサイエンティストが LLM ファインチューニングを行うための最適 PC 構成について詳細に解説しました。Threadripper 7980X と RTX 4090 x2 の組み合わせは、VRAM の制約と CPU パフォーマンスの両面で理想的なバランスを提供します。Axolotl や DeepSpeed を活用することで、ローカル環境でも大規模モデルの微調整が可能となり、クラウド依存を減らすことができます。

具体的な構成ポイントとして以下の項目が挙げられます：

• CPU: Threadripper 7980X（64 コア）でデータ前処理能力を最大化
• GPU: RTX 4090 x2（合計 48GB VRAM）で大規模モデル学習に対応
• メモリ: 256GB [DDR5 ECC で VRAM の限界を補完し、OOM エラーを回避
• ストレージ: [[PCIe 5.0 SSD RAID 構成でデータ読み込み速度を向上
• 電源: 1600W Titanium 認証 PSU で安定した電力供給を実現

また、Axolotl の設定ファイルや DeepSpeed の最適化パラメータについても具体的なコード例を示しました。QLoRA と LoRA の違いを理解し、モデルサイズに応じた適切な設定を行うことで、精度と速度の両立を図れます。2026 年時点では、AI のローカル学習環境がさらに進化しており、本構成は将来にわたって通用する堅牢な基盤となります。データサイエンティストの皆様には、このガイドラインを参考に、効率的で高品質な AI モデル開発を行っていただければ幸いです。

LLM研究エンジニアのPC構成。Hugging Face Transformers・vLLM・Axolotl、RLHF・DPO・Fine-tuning、ローカルLLM研究。

※ 当サイトはAmazonアソシエイト・プログラムの参加者です。