論文概要(Abstract) 本論文は、本番グレードのLLMシステムにおける信頼性フレームワークの体系的レビューである。47件の本番事例・グレーリテラチャを統合し、構造化出力バリデーション、サーキットブレーカーとフォールバック機構によるグレースフルデグラデーション、プロンプトエンジニアリング戦略、LLMワークロード向け監視アプローチを包括的に分析している。LLMが従来ソフトウェアと異なる非...
論文概要(Abstract) Mixture-of-Agents(MoA)は、複数のLLMを層状アーキテクチャで組み合わせ、各モデルが他モデルの出力をコンテキストとして参照しながら応答品質を反復的に改善する手法です。Together AIの研究チームにより提案され、オープンソースモデルのみでGPT-4oを上回る品質(AlpacaEval 2.0 LC: 65.1% vs 57.5%)を達成...
論文概要(Abstract) Corrective Retrieval Augmented Generation(CRAG)は、RAGパイプラインの検索品質を自動評価し、品質に応じて異なる補正アクションを発火させるプラグイン型フレームワークである。軽量なRetrieval Evaluator(T5ベース)が検索結果の関連性を3段階(Correct / Ambiguous / Incorre...
論文概要(Abstract) MetaGPTは、人間のソフトウェア開発チームにおける標準業務手順(SOP: Standard Operating Procedures)をLLMエージェントに埋め込むことで、マルチエージェント協調の品質と効率を大幅に向上させたフレームワークである。Product Manager、Architect、Engineer、QA Engineerなどの役割をエージェ...
論文概要(Abstract) LLMが長いコンテキストを入力として受け取れるようになった一方で、その情報をどれほど実際に活用できているかは十分に研究されていなかった。本論文では、(1)マルチドキュメント質問応答と(2)キーバリュー検索という2タスクを用いて、入力コンテキスト内の情報位置がLLMの性能にどう影響するかを体系的に分析した。関連情報がコンテキストの先頭・末尾にある場合は高精度だが...
📄 論文解説: An Analysis of Fusion Functions for Hybrid Retrieval — RRF vs 線形結合 vs Learning to Rank の体系的比較
論文概要(Abstract) 本論文は、ハイブリッド検索における融合関数(Fusion Functions)を体系的に比較した研究です。スパース検索(BM25, SPLADE)とデンス検索(DPR, TAS-B, ColBERT v2)を組み合わせる際の融合手法として、線形結合(Linear Combination)、Reciprocal Rank Fusion(RRF)、Learning...
ブログ概要(Summary) AWS公式Machine Learningブログの本記事は、LlamaIndexフレームワークとAmazon Bedrockを組み合わせたAgentic RAGアプリケーションの構築方法を解説する。Amazon Bedrock Knowledge Basesによるマネージドなベクトル検索基盤の上に、LlamaIndexのエージェント機能を統合することで、従来の...
論文概要(Abstract) MAIN-RAGは、RAGパイプラインにおける検索ドキュメントのノイズ問題を、複数LLMエージェントの協調フィルタリングで解決する訓練不要(training-free)のフレームワークである。Predictor(予測器)、Judge(評価器)、Final-Predictor(最終予測器)の3エージェントが協調して検索結果の関連性を評価・スコアリングし、適応的閾...
論文概要(Abstract) LightRAGは、GraphRAGの2つの根本的課題—単一レベル検索とインクリメンタル更新不可—を解決する軽量・高速なグラフRAGフレームワークである。デュアルレベル検索(エンティティ粒度のLow-Level + 関係粒度のHigh-Level)と差分グラフ更新機構を導入し、5ドメインの実験でGraphRAGを含む既存手法を上回る性能を達成した。香港大学のチ...
論文概要(Abstract) 本論文は、大規模テキストコーパス全体にわたる「グローバルな問い」に対応するため、LLMを用いてナレッジグラフを事前構築し、Leidenアルゴリズムによるコミュニティ検出とMapReduce的な2段階要約で回答を生成するGraphRAGを提案する。従来のNaive RAGが局所的なチャンク検索に限定される一方、GraphRAGはコーパス全体のテーマ・構造・関係性...