11000件の用語
2024年12月DeepSeek AI (中国Hangzhou・2023年High-Flyer Quantitative量化基金子会社設立・累計運用資金$50B+/年・中国AI startup leader・量化金融資金潤沢AI研究投資) 発表DeepSeek-V3・Industry-leading MoE scale Open weights LLM・671B total parameters (256 experts × 2.62B per expert) + 37B active params per token (Sparse activation・1/18 ratio・Industry-leading sparsity efficiency) + 128K context length + DeepSeek License (Permissive license・Commercial use可) + Multi-Token Prediction MTP + Auxiliary-loss-free load balancing + FP8 training・Industry-leading MoE scale + GPT-4o competitive performance + Cost $5.6M training (1/10 GPT-4 cost industry-shocking)。
DeepSeek社が2024年末に公開したMixture-of-Experts構造の大規模言語モデル。総パラメータ671B・有効パラメータ37Bで、推論コストを抑えつつGPT-4oクラスの性能を達成した。
DeepSeek 2024年12月発表 MoE LLM。総671B / アクティブ 37B・GPT-4o 凌駕性能・$5.5M 学習コスト破壊
DeepSeek社が2024年5月にリリースしたMoEアーキテクチャ採用LLM。236B総パラメータ・21Bアクティブ化で、Multi-head Latent Attention(MLA)とDeepSeekMoE技術によりKVキャッシュを93%削減し高コスト効率を実現。
DeepSeek 2024年5月発表 MoE LLM。総236B / アクティブ 21B・GPT-4 同等性能・推論コスト Llama 3 比 42%
2024年DeepSeek AI発表DeepSeekMath・Industry-leading GRPO math reasoning LLM + Industry-leading DeepSeek-Math 7B + Industry-leading 120B Common Crawl math + Industry-leading GSM8K 64.2% MATH 51.7%。
DeepSeekが開発した数学特化7Bパラメータ言語モデル。数学推論・証明・競技数学問題を解くために120Bトークンの数学コーパスで事前学習し、GPT-4レベルの数学性能を達成した。
MicrosoftのDeepSpeedが2023年に提案したシーケンス並列化手法。All-to-All通信でQ/K/Vをシーケンス次元からヘッド次元に再分配し、各GPUが全シーケンスの一部ヘッドの注意計算を担当する。Ring Attentionより通信効率が高いケースがある。
Microsoft開発の大規模LLM学習フレームワーク。Zero Redundancy Optimizer（ZeRO）でモデル状態を分散・メモリ使用量を大幅削減。Stage 1〜3でパラメータ・勾配・オプティマイザ状態を段階的に分散管理する。
Microsoft Research発表DeepSpeed・LLM大規模Distributed Training Industry-leading library・ZeRO (Zero Redundancy Optimizer) 3-stage memory optimization・ZeRO-1 optimizer state partitioning + ZeRO-2 gradient partitioning + ZeRO-3 model parameter partitioning・Industry-leading model parameter memory partitioning across GPUs + Industry-leading large-scale model training memory efficiency + Industry-leading 1T+ parameter model training enabler + Microsoft Industry-leading Distributed Training framework + Industry-wide adoption・PyTorch + Hugging Face Transformers + 多LLM training framework integration。
AI生成Content認証。C2PA Coalition for Content Provenance and Authenticity (Adobe+MS+Sony+Nikon・Manifest 2.0)・Content Credentials Cr Icon・Sora 2 Visible Watermark・SynthID (Google・Invisible)・Truepic Lens・Microsoft Provenance・Reality Defender・Hive Moderation・WeVerify・Adobe Photoshop AI Generative Fill署名・iPhone 16 Pro Camera C2PA署名・¥0 OSS、2026年C2PA全Camera/AI Tool普及。
2010年Demis Hassabis + Shane Legg + Mustafa Suleyman共同創業DeepMind。英国London + 2014-01 Google $500M買収Pro Famous + AlphaGo 2016 Pro Famous + AlphaFold 2018/2020 + Gemini 2023-12 + Pro Mainstream AI Lab業界Top独占代表機。
AlexNet は2012年9月Alex Krizhevsky・Ilya Sutskever・Geoffrey Hinton (University of Toronto) が発表したCNN モデルで ImageNet Large Scale Visual Recognition Challenge (ILSVRC) で Top-5 Error 15.3% (前年26.2% から大幅改善) ・NVIDIA GTX 580 GPU×2 で1週間学習採用しDeep Learning 時代の幕開けとなった歴史的論文・現代AI 革命の起点。
Deep Learning Trinity 2018 Turing Award (差別化: 既存ML史と異なり研究者個人軸)。Geoffrey Hinton 1947生 Edinburgh→Toronto Univ「Backpropagation」1986 Rumelhart+Williams共著 Nature掲載+Restricted Boltzmann Machines RBM+Deep Belief Networks DBN 2006・AlexNet 2012 (Alex Krizhevsky+Ilya Sutskever Student指導・ImageNet 16.4% Top-5 Error)→Google 2013-2023+Vector Institute 2017→Toronto退職 2023→Google Brain離職 AI Safety Concern「Godfather of AI」・Yann LeCun 1960生 Sorbonne→Bell Labs+New York University+Meta AI VP→FAIR Facebook AI Research・LeNet-5 1989 CNN Convolutional Neural Network先駆+MNIST handwriting digit・Yoshua Bengio 1964生 McGill→Montreal Univ MILA・Word Embeddings+Generative Adversarial Networks GAN指導 (Ian Goodfellow Student 2014・GoodFellow Apple→Google Brain→DeepMind)・3名 2018 Turing Award (AC ACM・$1M)+Hinton 2024 Nobel Physics (John Hopfield共)・Demis Hassabis 2024 Nobel Chemistry AlphaFold・¥0 公的功績、2026年Hinton+LeCun+Bengio LLM/AGI Foundation。
Deep Learning Frameworkは、人工知能・機械学習分野における重要な概念・技術です。
T+A R 1000 E HV Integrated Amp Reference。Germany T+A HV Series最上位Integrated+Audiophile Top Tier搭載。
2018年T+A公開SD 3100 HV SACD Player Reference。Multi-bit + DSD両対応+Germany T+A Heritage+Audiophile Reference SACD Player+DAC内蔵搭載。
2022年T+A公開DAC 200 True 1-bit DAC。SD3M True 1-bit DSD+R2R Multibit両対応+Germany T+A Heritage+Audiophile Hybrid Architecture DAC搭載。
2023年T+A elektroakustik GmbH (Germany)発売T+A DAC 200・Industry-leading R2R + DSD premium DAC + Industry-leading T+A True 1-Bit R2R + Industry-leading premium $9,795 USD + Industry-leading T+A Germany engineering。
独T+A 2015年発表Audiophile FM+DAB+Internet Radioチューナー。マルチ放送対応+T+A HV出力段・¥850000当時