Zstandard (zstd)（ジースタンダード）

概要

Zstandard(ジースタンダード、zstd)は、Facebook(現 Meta、2014 年 Yann Collet 入社)の Yann Collet(ヤン・コレ、フランス人圧縮研究者)が 2015 年に開発開始 + 2016 年 8 月に v1.0 で公開した高速汎用ロスレス圧縮アルゴリズム + リファレンス実装です。Yann Collet は LZ4(2011)・FSE(Finite State Entropy、2013)・xxHash(2012、ハッシュ)などの著名圧縮アルゴリズムを開発した世界的研究者で、zstd は LZ4 の後継として「LZ4 の速度 + gzip / xz の圧縮率を両立」する目標で設計されました。

技術的特徴は、(1)LZ77 派生の辞書圧縮(参照距離 + 一致長 + リテラルの 3 要素エンコード)・(2)Asymmetric Numeral Systems(ANS、Jarek Duda が 2013 年に提唱した数論ベースエントロピーコーディング、Huffman / 算術コーディング後継)・(3)複数階層辞書(直近 Match + 中期 Match + 長期辞書、Block 単位で動的構築)・(4)圧縮レベル 1-22 の幅広い調整(レベル 1: 超高速 / レベル 3: デフォルト / レベル 19+: 高圧縮率 / レベル 22: 最高圧縮率)・(5)外部辞書(Dictionary)サポート(小ファイル群を共通辞書で圧縮、JSON / XML / log で効果大)、で構成されます。

性能は圧倒的です。(1)圧縮レベル 3(デフォルト)で gzip より 2-4 倍高速 + 圧縮率 +10-20% 向上・(2)圧縮レベル 19+ で gzip / xz と同等の圧縮率を達成 + 解凍は 10 倍高速・(3)解凍速度は LZ4 に近い 1-2GB/s 級・(4)圧縮速度は LZ4 の 1/2-1/3 程度だが、圧縮率は 2-3 倍向上、というトレードオフです。実測では、(a)Linux カーネルソース(720MB)を 1.6 秒(レベル 3)/ 4.6 秒(レベル 9)で圧縮、解凍は 0.3 秒、(b)gzip 同条件は 13.4 秒(レベル 6)、xz は 86 秒(レベル 6)、というベンチマーク結果が公開されています。

主要採用は、(1)Linux カーネル(2017 年 4.14+、initramfs / dracut で zstd 圧縮、Linux Mint / Ubuntu / Fedora / Arch Linux で標準採用)・(2)Btrfs ファイルシステム(2017 年 Linux 4.14+、Compress / Force-Compress 機能で透過的 zstd 圧縮)・(3)RPM パッケージマネージャ(2018 年 Fedora 31+、xz から zstd へ移行で更新時間 30% 短縮)・(4)ZFS(2020 年 OpenZFS 2.0+、ファイルシステム透過的圧縮)・(5)Apache Cassandra / RocksDB / Apache Parquet / Apache Hadoop(ビッグデータ系)・(6)PostgreSQL 14+(2021、トーストデータ圧縮で zstd オプション)・(7)curl 7.76+(2021、Content-Encoding zstd)・(8)Brave Browser / Firefox / Chromium(Web ブラウザ標準対応 2024+)、などです。

ライセンスは BSD 3-Clause(2017 年から)で、商用利用 + 改変 + 再配布が完全自由です。RFC 8478(2018 年 IETF Informational)で標準仕様化、RFC 8878(2020、bis 仕様)で更新、IANA Content-Encoding 登録済みで Web 標準として活用されています。

主な特徴・仕組み

• 開発者: Yann Collet(LZ4 / FSE / xxHash 著者、2014 Facebook 入社)。
• 公開: Facebook 2016 年 8 月 v1.0、現在 Meta 主導 + コミュニティ。
• ライセンス: BSD 3-Clause、商用利用可。
• 技術: LZ77 派生 + ANS エントロピー + 複数階層辞書 + 圧縮レベル 1-22。
• 性能: gzip 比 2-4 倍高速 + 圧縮率 +10-20% / xz 同等圧縮率 + 10 倍高速解凍。
• 解凍速度: 1-2GB/s 級(LZ4 に近い)。
• 主要採用 OS / FS: Linux Kernel 4.14+、Btrfs、ZFS、Fedora RPM、Mint / Ubuntu。
• DB / ビッグデータ: Cassandra / RocksDB / Parquet / Hadoop / PostgreSQL 14+。
• Web: curl 7.76+、Brave / Firefox / Chrome 2024+(Content-Encoding: zstd)。
• 標準化: RFC 8478(2018)+ RFC 8878(2020)、IANA Content-Encoding 登録。
• 辞書サポート: 小ファイル群の共通辞書圧縮(JSON / XML / log で効果大)。

Zstd / 競合圧縮アルゴリズム比較

自作PCユーザー向けの注意点

zstd は自作 PC ユーザーが日常的に恩恵を受ける重要なライブラリです。Ubuntu / Fedora / Arch Linux 等の Linux ディストリビューションで RPM / DEB 系パッケージマネージャが zstd を採用しているため、システム更新時間が大幅短縮されています。Btrfs / ZFS ファイルシステムでは透過的 zstd 圧縮を有効化することで、SSD 書込量削減 + ストレージ容量削減が可能です。

ホビー / 業務知識習得用途では、apt install zstd / dnf install zstd で CLI コマンド zstd / unzstd / zstdmt(マルチスレッド版)が利用可能です。ファイル圧縮 / 解凍 / アーカイブ管理での活用、Apache Parquet + zstd 列指向ストレージでの大規模データ処理 + 機械学習ワークフローへの応用などが学習価値があります。

関連用語との違い

• gzip / deflate: 古典的圧縮、zstd の主な代替対象。
• Brotli: Google の Web 静的配信特化、zstd の汎用性 vs Brotli の Web 特化。
• xz / LZMA2: 最高圧縮率重視、zstd レベル 22 で同等圧縮率 + 高速解凍。
• LZ4: 速度重視、zstd の前任(Yann Collet 著者)。
• Snappy: Google データセンタ高速圧縮、LZ4 と同様の超高速系。

よくある質問(FAQ)

Q1: zstd を使うべき場面は? A: ほぼあらゆる圧縮シーンで zstd が推奨されます。汎用バランス → レベル 3、最高圧縮率 → レベル 22、超高速 → レベル 1。gzip 互換性が必須な古いシステム以外では、zstd への移行が圧倒的にメリットです。

Q2: zstd と Brotli どちらを選ぶべきですか? A: 用途次第。Web 静的ファイル配信(HTTP Content-Encoding)では Brotli が圧縮率で僅かに有利、汎用 + 大規模データ + ストリーミング処理では zstd が圧縮速度 + 解凍速度で圧倒的に有利です。Web ブラウザ + Web サーバの 2024+ ではどちらも標準対応で並列利用可能です。

Q3: Btrfs / ZFS で zstd 圧縮を有効化する方法は? A: Btrfs: mount -o compress=zstd:3 /dev/sdX /mnt、ZFS: zfs set compression=zstd-3 mypool/mydataset です。レベル 3 が CPU 負荷 + 圧縮率のバランスで最も推奨されます。SSD 書込削減 + 大容量化 + 読込速度向上の効果が期待できます。

まとめ

• Meta Yann Collet 2016 公開の高速汎用圧縮
• LZ77 + ANS で gzip 2-4 倍高速 + 圧縮率向上
• Linux Kernel / Btrfs / ZFS / RPM / Web で採用
• 圧縮レベル 1-22 で柔軟、現代の標準汎用圧縮