ブログ概要（Summary） AWS公式Machine Learningブログの本記事は、LlamaIndexフレームワークとAmazon Bedrockを組み合わせたAgentic RAGアプリケーションの構築方法を解説する。Amazon Bedrock Knowledge Basesによるマネージドなベクトル検索基盤の上に、LlamaIndexのエージェント機能を統合することで、従来の...

論文概要（Abstract） MAIN-RAGは、RAGパイプラインにおける検索ドキュメントのノイズ問題を、複数LLMエージェントの協調フィルタリングで解決する訓練不要（training-free）のフレームワークである。Predictor（予測器）、Judge（評価器）、Final-Predictor（最終予測器）の3エージェントが協調して検索結果の関連性を評価・スコアリングし、適応的閾...

論文概要（Abstract） LightRAGは、GraphRAGの2つの根本的課題—単一レベル検索とインクリメンタル更新不可—を解決する軽量・高速なグラフRAGフレームワークである。デュアルレベル検索（エンティティ粒度のLow-Level + 関係粒度のHigh-Level）と差分グラフ更新機構を導入し、5ドメインの実験でGraphRAGを含む既存手法を上回る性能を達成した。香港大学のチ...

論文概要（Abstract） 本論文は、大規模テキストコーパス全体にわたる「グローバルな問い」に対応するため、LLMを用いてナレッジグラフを事前構築し、Leidenアルゴリズムによるコミュニティ検出とMapReduce的な2段階要約で回答を生成するGraphRAGを提案する。従来のNaive RAGが局所的なチャンク検索に限定される一方、GraphRAGはコーパス全体のテーマ・構造・関係性...

論文概要（Abstract） 本論文は、従来のRAG（Retrieval-Augmented Generation）パイプラインにLLMエージェントの自律的推論能力を統合した「Agentic RAG」を体系的にサーベイした包括的論文である。Single-Agent、Multi-Agent、Hierarchical Agentの3つのアーキテクチャパターンを分類し、ReAct・CRAG・Se...

論文概要（Abstract） 本論文は、Muonオプティマイザの理論的基盤とMulti-Latent Attention（MLA）およびMixture-of-Experts（MoE）との統合効果を包括的に分析する。30M〜200Mパラメータ規模のTransformerモデルで実験し、MuonがAdamW対比で48-52%の計算量で目標損失に到達することを確認した。さらに、MLA+MoEとの...

論文概要（Abstract） MegaScale-MoEは、大規模Mixture-of-Experts（MoE）モデルの学習において通信効率を最適化するプロダクションシステムである。352Bパラメータの MoEモデルを1,440台のNVIDIA Hopper GPUで学習し、Megatron-LM比1.88倍のModel FLOPs Utilization（MFU）を達成した。Attent...

論文概要（Abstract） DeepSeekMathは、数学推論に特化した7Bパラメータの言語モデルである。Common Crawlから抽出した120Bトークンの数学関連データで継続事前学習し、さらにGRPO（Group Relative Policy Optimization）という新しい強化学習手法でPost-trainingを実施した。GRPOはPPOから価値関数（Critic）モ...

論文概要（Abstract） Kimi K2は、Moonshot AIが開発した1兆パラメータ（活性32B）のMixture-of-Experts（MoE）大規模言語モデルである。384個の専門家を持ち、Top-8ルーティングで32Bパラメータのみを活性化する。事前学習は15.5兆トークンで実施され、MuonClipオプティマイザにより損失スパイクなしで完走した。Post-training...

論文概要（Abstract） Muonオプティマイザは行列直交化に基づく新世代の最適化手法であり、小規模モデルでは優れた性能を示していたが、大規模LLM学習へのスケーラビリティは未検証だった。本論文は、重み減衰（weight decay）の追加とパラメータ別更新スケーリング（per-parameter update scaling）という2つの修正により、Muonをハイパーパラメータチュー...