最近の更新
MoE 33
- NVIDIA公式技術ブログ解説: Nemotron 3 Nano Omniのマルチモーダルエージェント推論アーキテクチャ 30/04/2026
- 論文解説: Jamba — Transformer-Mamba-MoEハイブリッド言語モデルの設計原理 30/04/2026
- 論文解説: Nemotron-H — Mamba-Transformerハイブリッドアーキテクチャの設計と効率化 30/04/2026
- 論文解説: MoELoRA — LoRAアダプタへのMoEルーティング導入によるパラメータ効率的ファインチューニングの拡張 28/04/2026
- 論文解説: MoE-LoRA — MoEモデルのエキスパート層に特化したパラメータ効率的ファインチューニング 28/04/2026
- Google DeepMind公式解説: Gemini 3.1 Pro — 3段階推論と16ベンチマーク分析 26/04/2026
- DeepSeek V4-Pro解説: 1.6Tパラメータ MoEアーキテクチャと圧縮スパースアテンションの技術詳細 26/04/2026
- 論文解説: DeepSeek-V2 — Multi-Head Latent Attentionによる93.3%のKVキャッシュ削減 26/04/2026
- 論文解説: Cache-to-Cache — LLM間KV-Cache直接転送によるセマンティック通信 04/04/2026
- 論文解説: DeepSeek-V3 — MLA+MoE+FP8混合精度で671Bモデルを低コスト学習する技術詳細 29/03/2026
- 論文解説: DeepSeek-V2 — Multi-Head Latent Attentionによる KVキャッシュ93%削減の設計と実装 29/03/2026
- NeurIPS 2024論文解説: MoE推論の効率化に向けた3つの最適化手法 25/03/2026
- ブログ解説: llama.cppによるMoEモデルのCPU+GPUハイブリッド推論最適化ガイド 25/03/2026
- 論文解説: MoEモデルのSSDオフロードはエネルギー効率で有害か 25/03/2026
- 論文解説: MoEオフロードによる大規模スパースモデルの高速推論 25/03/2026
- 論文解説: FlashMoE - SSD I/Oボトルネックを解消するML基盤キャッシュ置換によるMoEエッジ推論 25/03/2026
- 論文解説: Gemini 1.5 — 100万トークン長文脈理解を実現するMoEアーキテクチャ 20/03/2026
- 論文解説: Wan - 大規模オープンソース動画生成モデルのアーキテクチャと訓練 11/03/2026
- 論文解説: Wan - オープンな大規模動画生成モデル群 10/03/2026
- NVIDIA Blackwell MoE推論最適化 — DeepSeek-R1で実証された大規模スパースモデルの高速推論技術 04/03/2026
- ICLR 2025論文解説: ReMoE — ReLUルーティングによる完全微分可能なMoEアーキテクチャ 04/03/2026
- 論文解説: DeepSeekMoE — Fine-grained Expert SegmentationとShared Expert Isolationによるエキスパート特化の追求 04/03/2026
- 論文解説: DeepSeek-V3 Technical Report — 671B MoEモデルの設計と効率的学習 04/03/2026
- NeurIPS 2024論文解説: Toward Efficient Inference for Mixture of Experts — MoE推論のスループットを最大11.55倍改善する3手法 27/02/2026
- 論文解説: DeepSeek-V2 — MoEモデルのKVキャッシュを93.3%削減するMulti-head Latent Attention 27/02/2026
- Voyage AI解説: Voyage 4 — MoEアーキテクチャと共有Embedding空間による次世代テキスト埋め込み 24/02/2026
- Voyage AI解説: Voyage 4 — MoEアーキテクチャと共有埋め込み空間で非対称検索を実現 23/02/2026
- 論文解説: Muon + MLA + MoE — 3技術統合で68%メモリ削減・3.2倍推論高速化を実現 19/02/2026
- 論文解説: MegaScale-MoE — 1,440 GPU上で1.88倍高速化を実現するMoE学習システム 19/02/2026
- 論文解説: Kimi K2 — 1兆パラメータMoE+MuonClipで実現するオープンエージェント知能 19/02/2026
- 論文解説: Muon is Scalable for LLM Training — Newton-Schulz直交化による2倍効率のオプティマイザ 19/02/2026
- 論文解説: DeepSeek-V3 Technical Report — 671B MoEモデルの革新的アーキテクチャと$560万学習の全貌 19/02/2026
- NVIDIA解説: Mixture of Expertsが最先端AIモデルを駆動する仕組み 19/02/2026