本記事は PremAI Blog: RAG Evaluation: Metrics, Frameworks & Testing (2026) の解説記事です。 ブログ概要（Summary） PremAI社のArnav Jalan氏が2026年3月に公開した本ガイドは、RAGシステムの本番品質評価について、指標設計からフレームワーク選定、CI/CD統合、本番監視戦略までを体系的にカ...

本記事は arXiv:2311.09476 (ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems) の解説記事です。 論文概要（Abstract） ARES（Automated RAG Evaluation System）は、RAGシステムを少量の人手ラベル（150件程度）で...

論文概要（Abstract） 本記事は arXiv:2509.25238（Dan et al., 2025）の解説記事です。 LLMエージェントは実世界のツール呼び出し環境で、不正なパラメータ、API廃止、環境エラーといったツール障害に頻繁に遭遇する。PALADINはFailure Exemplar Bank（FEB）という障害事例バンクを導入し、過去の障害-回復ペアを蓄積・検索すること...

本記事は arXiv:2502.13595 (MMTEB: Massive Multilingual Text Embedding Benchmark) の解説記事です。本論文はICLR 2025に採択されています。 論文概要（Abstract） MMTEB（Massive Multilingual Text Embedding Benchmark）は、英語中心であったMTEBを250言...

論文概要（Abstract） 本記事は arXiv:2603.01548（Bholani, 2026）の解説記事です。 LLMエージェントがツールを呼び出す際、ReActのようなステップバイステップ推論ではLLMを各ステップで呼び出す必要があり、高コストかつ障害時の回復にも追加のLLM推論を要する。本論文はSelf-Healing Routerを提案し、タスク開始時にLLMが一度だけ有向...

本記事は arXiv:2407.08275 (Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems) の解説記事です。 論文概要（Abstract） 本論文は、RAGシステムにおけるEmbeddingモデル選定の課題に取り組んでいる。著者ら（V...

本記事は NVIDIA Developer Blog: Building Safer LLM Apps with LangChain Templates and NVIDIA NeMo Guardrails の解説記事です。 ブログ概要（Summary） NVIDIA NeMo Guardrailsは、LLMアプリケーションの入出力をプログラマブルに制御するためのオープンソースフレームワ...

論文概要 本記事は ICML 2024 論文「Position: Building Guardrails for Large Language Models Requires Systematic Design」の解説記事です。著者らは、LLM の入出力をフィルタリングするガードレール技術について、現行のオープンソースソリューション（Llama Guard、NVIDIA NeMo Guar...

論文概要 本記事は arXiv 論文 2305.13246 の解説記事です。Stanford大学の Lingjiao Chen、Matei Zaharia、James Zou らによる「FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance」（2023年5月公開）は、...

論文概要（Abstract） 本記事はarXiv論文 2312.06674 の解説記事です。 Llama Guardは、Meta AIが2023年12月に発表したLLMベースの入出力安全性分類モデルである。人間とAIの会話において、ユーザープロンプト（入力）とモデルレスポンス（出力）の双方を、MLCommons AI Safetyタクソノミーに基づく6カテゴリで「safe」または「uns...