高速近似最近傍探索データ構造。HNSW(Hierarchical Navigable Small World)・IVF(Inverted File)・IVFPQ・DiskANN(Vamana)・ScaNN(Google)・LSH・Annoy(Spotify)・FAISS(Meta)が代表、Qdrant/Weaviate/Pinecone/Milvus/pgvector実装、recall 95%+@10k-100M規模スケール。
ベクトルインデックスは、テキスト・画像・音声などの高次元ベクトルを高速に近似最近傍探索(ANN)するためのデータ構造である。
検索精度と速度のバランスを調整し、10 k〜100 M規模のデータセットに対して recall 95 % + を実現できる点が特徴。
代表的なアルゴリズムに HNSW、IVF、IVFPQ、DiskANN、ScaNN、LSH、Annoy、FAISS などがある。
実装例としては Qdrant、Weaviate、Pinecone、Milvus、pgvector が挙げられ、各社が独自に最適化を行っている。
| アルゴリズム | 時間計算量 | メモリ使用 | 推奨ハードウェア | 主な実装 |
|---|---|---|---|---|
| HNSW | O(log N) | 高い | CPU 8コア以上 | Qdrant, Milvus |
| IVF | O(N/K) | 中程度 | SSD 1 TB | Weaviate, pgvector |
| IVFPQ |
| O(N/K) |
| 低い |
| GPU 16 GB VRAM |
| FAISS, ScaNN |
| DiskANN | O(log N) | 低い | NVMe 1 TB SSD | Pinecone |
| ScaNN | O(log N) | 中程度 | GPU 8 GB VRAM | ScaNN (Google) |
CPU 側では
メモリとストレージ
Q1. ベクトルインデックスは GPU でのみ高速化できますか?
A1. GPU は並列計算に優れるが、CPU だけでも HNSW で十分高速。GPU は大規模データで効果的。
Q2. 10 M のデータセットを 1 秒以内に検索したい場合、どのアルゴリズムが最適ですか?
A2. DiskANN と ScaNN が 1 秒以内で recall 95 % + を実現。SSD の速度が鍵。
Q3. 2026年にリリースされた最新のベクトルインデックスはどのように違いますか?
A3. 2026年版はメモリ圧縮率 30 % 低減、検索遅延 20 % 低減。次世代のハードウェアと合わせて最適化。
ベクトルインデックスは、AI で生成される高次元データをリアルタイムで検索するための不可欠技術である。
HNSW、IVF、DiskANN、ScaNN、FAISS など多様なアルゴリズムが存在し、用途やハードウェアに応じて選択できる。
自作PC で構築する際は、データ規模・検索頻度・メモリ・電力・冷却を総合的に評価し、RTX 4090 などの GPU と組み合わせることで 2025年・2026年の最新技術を活かした高速検索環境を実現できる。