RAG（検索拡張生成）を自宅PCで構築する方法｜Ollama + ChromaDB

ストレージについては、ベクトルデータベースの永続化や、大量の文書ファイル（PDF, DOCX など）を保存する必要があるため、高速な NVMe SSD の使用が必須です。特に ChromaDB や他のベクトル DB はディスク I/O を行うため、SATA SSD では読み込み速度の面でボトルネックになる可能性があります。2026 年時点では、Gen4/Gen5 の NVMe SSD が標準となり、数 TB レベルの容量も安価に入手可能になっています。

また、冷却性能にも注意を払う必要があります。GPU を長時間負荷状態で動作させる場合、熱暴走によるスロットリング（速度低下）を防ぐための十分な空冷または水冷システムが必要です。特にハイエンド GPU を複数搭載する場合や、ラップトップでの運用においては、冷却パッドやケースファンレイアウトの最適化が、維持可能なパフォーマンスに直結します。

ソフトウェアスタック：Ollama・ChromaDB・LangChain の役割

RAG システムを構築するために必要となる主要なソフトウェアは、大きく分けて「推論エンジン」「ベクトルデータベース」「オーケストレーションフレームワーク」の 3 つです。これらを適切に連携させることで、データ入力から検索、生成までの一連の流れが自動化されます。各ツールの役割を明確にし、なぜその組み合わせが選ばれるのかを理解することが、トラブルシューティングや拡張性向上の第一歩となります。

まず「Ollama」は、ローカル環境で LLM を実行するためのサーバーソフトウェアです。Docker イメージのように軽量でありながら、モデルのダウンロード、ロード、推論 API の提供をシームレスに行います。2024 年以前に比べると、2026 年現在では Mac Apple Silicon や ARM エンvironment への対応がさらに強化されており、Windows 11 および Linux ディストリビューションでも安定して動作します。Ollama が提供する REST API は標準化されており、他のアプリケーションから簡単に呼び出すことができます。

次に「ChromaDB」は、ベクトルデータベースです。テキストデータを数値の羅列（埋め込みベクトル）に変換し保存・検索するための基盤となります。PostgreSQL や MySQL などの従来のリレーショナルデータベースとは異なり、「意味的な類似度」に基づく検索が可能です。Ollama で生成された埋め込みモデルと連携し、ユーザーの質問に近い文書を検索して返します。ChromaDB が選ばれる理由は、インストールが簡単でありながら、Python での操作が容易で、ローカルファイルベースでの永続化も標準サポートしている点にあります。

最後に「LangChain」は、LLM をアプリケーションに組み込むためのフレームワークです。RAG パイプラインを構築する際、Ollama と ChromaDB の間に立つ「接着剤」として機能します。言語モデルとの対話履歴の管理、プロンプトテンプレートの管理、検索ロジックの定義などを行い、複雑な処理フローをコード上で制御可能にします。LangChain には LangChain LlamaIndex などの競合也存在しますが、Ollama との親和性が高く、コミュニティドキュメントが豊富な LangChain を採用することで、開発効率を最大化できます。

インストール手順：Windows/macOS/Linux 別環境構築ガイド

RAG システムを実際に動かすためのインストール手順は、使用 OS に応じていくつかの違いがあります。ここでは 2026 年 4 月時点の安定版を基準に、最も一般的な Windows と macOS での構築方法を解説します。Linux は開発者向けの構成が主流ですが、基本的なコマンドは類似しているため参照可能です。前提として、Python のインストール済みおよび pip パッケージ管理ツールの利用環境が必要です。

【共通準備：Python の準備】 まず、RAG 開発の基盤となる Python 3.10 以降をインストールします。2026 年時点では Python 3.12/3.13 が主流ですが、互換性の観点から 3.10 を推奨します。ターミナル（コマンドプロンプト）で python --version と入力し、バージョンを確認してください。仮想環境の活用も必須です。venv コマンドを使用して隔離されたディレクトリを作成し、依存関係の競合を防ぎます。

【Windows での Ollama インストール】

1. 公式サイトから Windows 用インストーラーをダウンロードします。2026 年時点では「Ollama Installer.msi」などが提供されています。
2. インストール後、システム環境変数にパスが自動追加されているか確認します。
3. コマンドプロンプトを開き ollama serve と入力してサーバーを起動します。タスクバーのトレイアイコンで動作を確認できます。
4. 別のターミナルで ollama pull llama-3.5 を実行し、モデルをダウンロードします。

【macOS での Ollama インストール】

1. Homebrew がインストールされていることを確認します（brew --version）。
2. Homebrew を使用して brew install ollama と入力して一発でインストール可能です。
3. Apple Silicon (M1/M2/M3) ユーザーは、ネイティブ対応が完了しているため特に設定不要です。Intel マシンでは Rosetta 2 の利用が必要になる場合がありますが、最近のバージョンでは最適化が進んでいます。

【ChromaDB と LangChain の導入】 仮想環境内に以下のコマンドを実行します。 pip install langchain chromadb langchain-ollama requests これにより、必要なライブラリがインストールされます。Ollama は常時バックグラウンドで稼働している必要があるため、システム起動時に自動開始する設定（Windows ならスタートアップフォルダ、macOS なら LaunchAgent）を推奨します。特に、ChromaDB の保存先パスは、後述するデータ永続化の観点から、SSD の高速領域に指定重要です。

ベクトルデータベース構築：埋め込みとチャンク分割の実装

RAG システムの心臓部とも言えるのが、ベクトルデータベースへのデータ登録プロセスです。ここで重要なのは、「どのように文書を分解するか（チャンク分割）」と「どのような埋め込みモデルを使用するか」の 2 つのポイントです。単に PDF をそのまま読み込ませるのではなく、意味のある単位に分割して埋め込むことで、検索精度が劇的に向上します。

【埋め込みモデルの選定】 テキストを数値ベクトルに変換する「埋め込み（Embedding）」モデルが必要です。2026 年現在、Ollama で利用可能な主要な埋め込みモデルを比較表にまとめます。nomic-embed-text や mxbai-embed-large が標準的に使用されていますが、精度と速度のバランスから選ぶ必要があります。

nomic-embed-text は、軽量でありながら精度が高く、Ollama との相性が良いため初心者には特におすすめです。ただし、非常に複雑な文脈や専門用語が多い文書では、次元数の大きいモデルの方が精度が出やすい傾向があります。自宅 PC のリソース状況と、扱う文書の性質に合わせて選択しましょう。

【チャンク分割戦略】 文書をそのまま埋め込むのではなく、「チャンク（断片）」に分割する必要があります。一般的な手法として、固定サイズでの分割や、意味のまとまりごとに分割する RecursiveCharacterTextSplitter があります。固定サイズの場合、1024 トークン程度がバランスが良いとされています。しかし、これだと文脈が切れてしまうリスクがあります。 例えば、「2026 年の PC パーツ価格動向」という文書において、前半の「CPU」の説明と後半の「GPU」の説明が混在しないよう、セクションごとに分割するロジックを組み込むことが重要です。LangChain の RecursiveCharacterTextSplitter を使用し、区切り文字（改行や段落）を優先して分割することで、意味の連続性を保つことができます。

【ChromaDB への登録】 Python スクリプトで以下のような処理を行います。まずファイルを読み込み、チャンクに分割します。次に、埋め込みモデルを呼び出してベクトル化し、メタデータ（ソースファイル名、作成日など）と共に ChromaDB に追加します。この際、persist_directory 引数を設定することで、データベースの状態をディスクに保存できます。これにより、PC を再起動しても登録済み文書を保持し続けることが可能になります。2026 年時点の ChromaDB では、インデックス最適化機能が強化されており、大量データ登録時の速度が大幅に向上しています。

LLM 接続と検索ロジック：Ollama と LangChain の連携

データの準備ができたら、次は実際の対話プロセスを実装します。ここでは Ollama で動作する LLM と ChromaDB を LangChain を介して結びつけ、ユーザーの質問に対して適切な情報を返すロジックを作成します。これは RAG システムの「脳」に相当する部分であり、プロンプトエンジニアリングの観点からも重要な役割を担います。

【検索ロジンの実装】 LangChain の RetrievalQA や自定义の RetrievalChain を使用して、検索と生成の流れを定義します。ユーザーが質問を入力すると、まず ChromaDB に対して「類似度が高い文書を Top-k 件取得せよ」というクエリが発行されます。ここで k の値（検索結果数）の設定が重要です。k=1 では情報が不足し、k=20 ではノイズが増える可能性があります。一般的には k=4〜8 程度から調整を開始し、精度を確認します。

【プロンプトの設計】 取得した文脈（コンテキスト）を LLM に渡す際、単に貼り付けるだけでなく、指示を出すためのプロンプトエンジニアリングが求められます。例えば、「以下のコンテキストに基づいて回答してください。もしコンテキストに答えが含まれていない場合は、『わかりません』と答えてください」という指示を組み込むことで、ハルシネーションを防ぐことができます。また、「2026 年 4 月時点の情報として扱って」といったタイムスタンプの付与も、モデルの推論を助けます。

【Ollama との API 通信】 LangChain の ChatOllama クラスを利用することで、簡単に Ollama サーバーに接続できます。通常はローカルホスト（localhost:11434）に対してリクエストを送信します。この際、パラメータとして temperature（生成のランダム性）、top_p（トッピング確率）、num_predict（生成トークン数）を調整可能です。

• Temperature: 0.1 に設定すると回答が安定し、1.0 にすると創造的になりますが事実誤認リスクが上がります。RAG では通常 0.2〜0.4 が推奨されます。
• Context Window: 入力コンテキストの制限（例：8k トークン）を超えないよう、検索結果を適切にトリミングする必要があります。

【コードの実行フロー】 実際の Python コードでは、以下のような順序で処理が進みます。1. ユーザー質問を受け取る。2. ベクトル DB へクエリ送信。3. 関連文書取得。4. プロンプトテンプレートに結合。5. Ollama API に送信。6. LLM 回答生成。7. 画面出力。このフローを try-except ブロックで囲み、ネットワークエラーやモデル未ロード時の例外処理を実装することで、堅牢なシステムへと仕上げます。

精度向上テクニック：チャンキングとリランキングの活用

標準的な RAG 実装でも十分な性能を発揮しますが、さらに高精度化を目指すには「チャンク分割の最適化」と「リランキング（再ランク付け）」という技術が有効です。これらは検索結果の質を高めるために用いられ、特に専門性の高いドメインや複雑な質問に対してその威力を発揮します。

【チャンキングの細分化とオーバーラップ】 前述した固定サイズ分割に加え、「オーバーラップ（重複区間）」を持たせる手法があります。これは、文書の境界部で意味が途切れるのを防ぐためのテクニックです。例えば、100 文字ごとに区切る場合、50 文字ずつ重ならせて配置します。これにより、あるチャンクの末尾と次のチャンクのはじまりの情報を LLM が共有でき、文脈をより正確に理解できるようになります。2026 年時点の LangChain では、SentenceSplitter や SemanticChunker といった高度な分割器が標準ライブラリに含まれており、単語数だけでなく意味的まとまりに基づいて自動的に区切ることができます。

【リランキング（Reranking）】 ベクトル検索で取得した結果は、単に類似度が高い順に並んでいるだけで、必ずしも質問の意図を正確に捉えているとは限りません。そこで、「リランキング」モデルを使用し、検索された候補文書に対して再度評価を行い、順位付け直す技術です。例えば、bge-reranker-v2-m3 や cross-encoder モデルがこれに該当します。

1. 最初にベクトル DB で Top-50 の文書を検索。
2. その 50 件に対してリランキングモデルを適用し、質問との関連性を再評価。
3. トップ 5 だけを LLM に渡す。 この手法により、ノイズとなる文書が排除され、回答生成の精度と速度の両方が向上します。ただし、リランキング処理には追加の計算資源が必要になるため、高速な GPU を積んだ環境での運用が推奨されます。

【ハイブリッド検索の実装】 ベクトル検索だけでなく、キーワードベースの検索（BM25 など）を組み合わせる「ハイブリッド検索」も精度向上に寄与します。特定の固有名詞や専門用語が含まれる場合、意味的な埋め込みよりも文字列マッチングの方が優れているケースがあります。ChromaDB や他の DB では、ハイブリッド検索モードが標準サポートされており、ベクトルスコアとキーワードスコアの重み付けを調整することで、より網羅的な情報取得が可能になります。

【フィードバックループの構築】 ユーザーからの評価（「この回答は役立った」「間違っている」）を取得し、そのデータを学習データとして追加する仕組みも検討すべきです。2026 年時点では、ローカル AI ユーザーが自身の行動履歴を匿名化してモデル微調整に活用するツールも登場しています。RAG システム自体の検索結果が不適切だった場合、その文書の分割サイズや埋め込みモデルの変更を試みるなどの改善サイクルを回すことで、システムは時間とともに賢くなっていきます。

アドバンスドユースケース：マルチモーダルと拡張機能

標準的なテキスト検索を超えて、RAG システムの応用範囲を広げるための方法論です。画像や音声データも扱えるようにする「マルチモーダル RAG」や、複数 PC 間で分散管理を行う「スケーリング手法」について解説します。

【マルチモーダル RAG】 PDF の図表やスライドの画像情報を検索対象に含めることが可能です。2026 年では、CLIP や DINOv2 といった視覚埋め込みモデルと LLM を組み合わせたライブラリが普及しています。例えば、「このグラフの傾向を説明して」という質問に対し、画像データを埋め込んでベクトル DB に保存しておけば、画像からも類似度を検索できます。ただし、マルチモーダル処理は VRAM 消費が激しいため、専用 GPU の確保や、クラウド連携によるハイブリッド構成も現実的な選択肢となります。

【分散データベースとフェデレーテッド学習】 文書量が膨大になり、単一 PC のストレージや検索性能で限界を迎える場合、複数 PC やサーバー間でデータを分散させる手法があります。ChromaDB には PersistentClient を利用したローカル保存に加え、ネットワーク越しのクライアント接続機能もあります。また、「フェデレーテッド学習」という概念を RAG に応用し、各 PC のデータは保持しつつ、モデルのみを更新する構成も研究されています。これにより、データの移動に伴うセキュリティリスクを最小化しながら、大規模な知識ベースを構築できます。

【GUI 化とユーザーインターフェース】 コマンドライン操作に抵抗がある一般ユーザー向けには、LangChain の Streamlit や Gradio を使用した Web UI の構築が容易です。これにより、ブラウザ上で PDF ファイルをアップロードし、チャット形式で Q&A が行えるダッシュボードを作成できます。2026 年時点では、RAG システム用のテンプレート UI も整備されており、数行のコードで本格的な管理画面が構築可能です。

エラー対処とトラブルシューティング：運用上の注意点

システムを稼働させる過程で直面する一般的なエラーと、その解決策をまとめました。特に VRAM 不足や接続エラーは頻繁に発生するため、事前に知識を持っておくことが重要です。

【Out Of Memory (OOM) エラー】 「CUDA out of memory」などのエラーが出た場合、使用しているモデルが GPU の容量を超えています。対処法として、以下の手順を試します。

1. 使用するモデルを小さくする（例：70B から 7B へ）。
2. モデルのロード方法を変更し、VRAM に全て載せず CPU を一部利用する n_gpu_layers パラメータを調整する。
3. メモリ解放のため、他のアプリケーションを閉じる。 Ollama の設定ファイル Modelfile を編集して、PARAMETER num_ctx 2048 などコンテキストサイズを減らすことで負荷を軽減できます。

【モデル未ロードエラー】 「model not found」や「connection refused」のエラーが発生する場合、Ollama サーバーが起動していないか、ポート（11434）が閉じられています。タスクマネージャーで ollama プロセスが実行されているか確認し、必要に応じて ollama serve を手動で再起動します。また、ファイアウォール設定でローカルポートの通信を許可しているかも確認が必要です。

【検索精度の低下】 検索結果が常に的外れである場合、埋め込みモデルとの相性やチャンクサイズの問題が考えられます。一度 nomic-embed-text から mxbai-embed-large へ切り替えて再テストするか、チャンクサイズを 512 トークンから 2048 トークンに変更するなどして、粒度を見直します。また、検索クエリ自体の最適化（例：質問を言い換える）を行う「Query Transformation」テクニックも有効です。

よくある質問 (FAQ)

Q: 自宅 PC で RAG を構築する場合、最低限必要な GPU のメモリ容量はどれくらいですか？ A: 最低でも 8GB の VRAMが必要です。7B パラメータのモデルを動作させるには約 16GB のメモリーが必要ですが、8GB でも量子化技術（4bit など）を使えば動作可能です。しかし快適に運用するには、RTX 3090 や 4090 で 24GB 以上の VRAM を持つ構成が推奨されます。

Q: Ollama と ChromaDB は同じ PC で同時に動かす必要がありますか？ A: はい、通常は同じ PC で動作させます。Ollama が推論エンジンとして、ChromaDB がデータ管理を行うためです。ただし、ネットワーク経由での接続も可能ですが、検索速度の観点からローカル実行が最適化されています。

Q: 日本語の文書を検索させる際に注意すべき点はありますか？ A: 埋め込みモデルに日本語の対応状況を確認してください。2026 年現在では多言語対応モデルが主流ですが、初期設定で英語のみ対応の場合があります。nomic-embed-text や mxbai-embed-large は日本語も適切に扱えます。また、チャンク分割時に日本語文字列を正しく認識する設定が必要です。

Q: クラウド型 AI と比べて RAG システムの回答精度は劣りますか？ A: 一般的な知識については劣る場合がありますが、あなたの固有データ（社内文書など）に基づいた質問に対しては、RAG システムの方が遥かに正確です。クラウド LLM は学習データにない事実を推測して答える傾向があり、RAG は事実ベースで回答します。

Q: 生成されたモデルファイルの保存先を変更することは可能ですか？ A: はい、可能です。Ollama の設定や環境変数 OLLAMA_MODELS を変更することで、保存パスを別の SSD や HDD に指定できます。大量の文書を扱う場合、ストレージの読み込み速度がボトルネックになるため、高速な NVMe SSD への保存を強く推奨します。

Q: モデルを更新した場合、既存のベクトル DB データは保持されますか？ A: はい、保持されます。埋め込みモデルを変更しない限り、登録済みの文書データはそのまま使用可能です。ただし、モデル自体（例：Llama-3.2 から Llama-3.5）を切り替えた場合、ベクトルの次元が異なる可能性があるため、新規登録または再変換が必要になる場合があります。

Q: RAG システムは常にインターネット接続が必要ですか？ A: いいえ、必須ではありません。Ollama と ChromaDB をローカルで完結させる構成であれば、オフライン環境でも完全動作します。ただし、モデルのダウンロードやアップデートには初期段階でネットワークが必要です。セキュリティ要件の高い環境では、オフライン運用が標準的です。

Q: 複数人で同時に RAG システムを利用することはできますか？ A: はい、可能です。Ollama は API サーバーとして機能するため、複数のクライアントから同時にリクエストを受け取ることができます。ただし、GPU の計算資源には限りがあるため、同時利用者が多い場合はキューイング処理や、より強力な GPU へのアップグレードを検討する必要があります。

Q: 無料で使える埋め込みモデルはどのくらいありますか？ A: 非常に豊富にあります。Ollama で利用可能な nomic-embed-text や mxbai-embed-large は無料で使用可能です。また、Hugging Face などのオープンソースコミュニティから、特定のドメイン向けに微調整されたモデルをダウンロードして利用することも可能です。

Q: RAG システムの構築にかかるコストはどれくらいですか？ A: ソフトウェアライセンス費用は基本的にゼロです。必要なコストは PC ハードウェア（GPU、RAM, SSD）の購入費のみとなります。初期投資こそかかりますが、API 課金のない長期的運用では、クラウド利用よりも大幅に低コストで維持できます。

関連記事

あわせて読みたい記事をピックアップしました。

• Ollama 完全入門ガイド｜自宅PCでAIチャットボットを動かす方法
• LoRA学習入門｜自分だけのAI画像モデルを作る方法
• マルチGPU AI ワークステーション構築ガイド｜2枚以上のGPUでAI学習を加速
• ローカル AI 音声認識・音声合成ガイド｜Whisper・VOICEVOX・RVC
• ComfyUI で始める AI 画像生成入門｜ノードベースの柔軟なワークフロー
• レトロゲームエミュレーション環境構築ガイド｜合法的にPCで遊ぶ方法

まとめ：自宅 PC で完全制御される AI の未来

本記事では、2026 年 4 月時点の環境を想定し、自宅 PC で RAG（検索拡張生成）システムを構築する方法について、Ollama、ChromaDB、LangChain を用いた実践的な手順を詳しく解説しました。ローカル AI を活用することで、データプライバシーの保護やコスト削減、そして応答速度の向上といった明確なメリットが得られます。

記事の要点は以下の通りです。

• RAG の核心: LLM に外部知識を読み込ませることで、ハルシネーションを減らし信頼性を高める技術であること。
• ハードウェア要件: GPU の VRAM が最重要であり、最低 8GB〜12GB を推奨し、快適には 24GB 以上の RTX シリーズが必要であること。
• ソフトウェア構成: Ollama（推論）、[Chroma](/glossary/chroma-vector-db)DB（ベクトル DB）、[LangChai](/glossary/chai-ai-2021)n（連携）の組み合わせが標準的かつ効率的であること。
• 精度向上: チャンク分割の最適化やリランキング、ハイブリッド検索を活用することで、検索精度をさらに高められること。
• セキュリティとコスト: インターネット接続不要で運用可能であり、長期的にはクラウド API よりも経済的かつ安全であること。

自宅 PC で AI を構築することは、単なる技術習得にとどまりません。自身のデジタル資産を完全に管理し、未来のワークフローに不可欠なインフラとして組み込む行為です。ハードウェア選定からコードの実装まで、一歩ずつ進めることで、誰でも独自の AI アシスタントを所有できます。今後の RAG ツールの進化は目覚ましいものがありますが、この基礎知識があれば、どのような新技術が現れても柔軟に対応できるはずです。ぜひ本記事の手順を参考に、あなただけのローカル AI 環境を構築してみてください。