Whisper/faster-whisper 文字起こし速度 GPU別実測 2026 — ローカル音声AI自作PC最適解

2026年現在、ローカル環境での音声認識技術はかつてないほどの進化を遂げています。かつてはクラウドAPIに頼らざるを得なかった高精度な文字起こしが、今や家庭用の自作PCで、しかもリアルタイムに近い速度で実行可能です。特にOpenAIが公開した「Whisper」モデルを、CTranslate2ライブラリを用いて最適化した「faster-whisper」や、量子化による軽量化を実現した「whisper.cpp」の登場により、ハードウェアの性能を最大限に引き出すことが可能になりました。本記事では、最新のGPU環境における実測データを基に、あなたのPC環境を「AI文字起こしマシン」として最適化するための詳細なガイドをお届けします。

Whisperの仕組みとfaster-whisperによる高速化の原理

OpenAIのWhisperは、Encoder-Decoder型のTransformerアーキテクチャを採用した音声認識モデルです。膨大な音声データセットで学習されており、多言語対応と高いノイズ耐性が特徴ですが、標準的な実装ではGPUリソースを大量に消費し、推論効率に課題がありました。そこで登場したのが「faster-whisper」です。これは、推論エンジンに「CTranslate2」を採用し、モデルの重みを量子化（INT8/FP16）することで、メモリ使用量を大幅に削減しつつ、処理速度を標準版の約4倍から10倍程度に引き上げる技術です。

さらに、C++で記述された「whisper.cpp」は、特にCPU推論やApple Silicon、あるいはGPUメモリが極端に少ない環境において驚異的な効率を発揮します。これらは、単に計算速度が速いだけでなく、VRAM（ビデオメモリ）の消費を抑えるため、ミドルレンジのGPUでも大型モデル（large-v3など）を動かせるという大きなメリットがあります。2026年時点では、これらの最適化技術が標準となっており、ローカルAIの構築には欠かせない知識となっています。

本稿で扱う各モデルのサイズは以下の通りです。モデルが大きくなるほどパラメータ数が増え、認識精度は向上しますが、必要なVRAM容量と計算時間も増大します。自作PCユーザーとしては、自分のGPUのVRAM容量と相談しながら、最適なモデルを選択する必要があります。

GPU別・モデル別 推論速度の実測ベンチマーク

最新のGPU環境（RTX 4060, 4070, 4090）を用いて、1時間の音声データを処理した際の実測値をまとめました。ここで用いる指標は「Real-time Factor (RTF)」です。RTFが1.0であれば音声と同じ時間で処理が完了することを意味し、数値が小さいほど高速であることを示します。例えば、1時間の音声が6分で終わればRTFは0.1となります。

以下の表は、faster-whisper（CUDA環境）における、1時間の音声（日本語）を文字起こしする際の時間目安です。なお、CPUはIntel Core i9-14900K、メモリ64GBの環境をベースとしています。

RTX 4090の圧倒的な演算性能は、large-v3モデルを使用しても1時間分を約4分強で処理し終えるという驚異的な結果を示しています。一方、RTX 4060でもlarge-v3が15分程度で完了するため、実用上の問題はほとんどありません。重要なのは、VRAM容量が不足するとシステムメモリ（RAM）へのスワップが発生し、処理速度が劇的に低下する点です。大型モデルを扱う場合は、VRAM 8GB以上が「自作PCの最低ライン」と言えるでしょう。

CUDA vs CPU推論の決定的な差

Whisperの実行において、GPU（CUDA）を使用するかCPUを使用するかは、文字起こし速度に直結する最も重要な要素です。CUDAは並列計算に特化しており、Transformerアーキテクチャの行列演算を効率的に処理します。一方、CPU推論（特にwhisper.cppのGGUF形式使用時）は、GPUを持たないPCでも動作する利点がありますが、大規模モデルになるとGPUの数倍から数十倍の時間がかかることがあります。

2026年の最新技術では、AVX-512命令セットやAMX（Intel）などを活用したCPU推論も高速化していますが、それでもRTX 40シリーズのような専用ハードウェアの演算能力には及びません。特にリアルタイム字幕生成を行う場合、CPU推論ではラグが蓄積しやすく、会話に追いつけなくなるリスクがあります。

以下に、RTX 4070と最新CPU単体での処理速度比較を示します。

※1分間の音声処理における推定時間。この数値からも分かる通り、モデルが複雑になればなるほど、GPUの恩恵は指数関数的に増大します。

リアルタイム字幕化を実現するためのシステム要件

リアルタイム字幕化とは、マイクからの入力を即座にテキスト化し、画面に表示する技術です。これを実現するには、音声の入力、VAD（Voice Activity Detection：音声区間検出）、推論、テキスト表示という一連のパイプラインを1秒未満の遅延で回す必要があります。

広告

必要なスペックとして、GPUは最低でもVRAM 8GB以上のNVIDIA RTXシリーズを推奨します。VADには「Silero VAD」などの軽量モデルを併用し、音声が入ってきた瞬間だけWhisperにデータを渡す仕組みが一般的です。また、Pythonの「asyncio」を用いて、録音と推論を並行して実行するマルチスレッド設計が不可欠です。

リアルタイム字幕化の構成要素：

1. マイク入力: 44.1kHz/16bit以上のサンプリングレート
2. VAD: Silero VAD (VRAM 100MB程度消費)
3. 推論: faster-whisper (large-v3使用時はVRAM 6GB以上確保)
4. 表示: [OBS Studio](/glossary/udio-music-2024)のテキストソースや、カスタムGUIツール

音声学習とTTSの統合 — AI音声アシスタントへの道

文字起こしは、AIとの対話の入り口に過ぎません。2026年現在は、Whisperで聞き取り、LLM（Llama 3やMistralなど）で思考し、Piper TTSやVoicevoxで発話させる「ローカル音声エージェント」の構築が、自作PC界隈のトレンドです。この構成において、Whisperの処理速度は「AIの応答速度」のボトルネックとなります。