本記事は MALBO: Optimizing LLM-Based Multi-Agent Teams via Multi-Objective Bayesian Optimization の解説記事です。 論文概要（Abstract） MALBOは、LLMベースのマルチエージェントシステムにおけるモデル割当を多目的最適化問題として定式化するフレームワークである。$M$個のLLMと$N$個の...

本記事は RouteLLM: Learning to Route LLMs with Preference Data の解説記事です。 論文概要（Abstract） RouteLLMは、クエリの複雑さに応じて高性能（高コスト）なLLMと軽量（低コスト）なLLMを動的に切り替えるルーターモデルのフレームワークである。著者らは、Chatbot Arenaの人間選好データを活用して4種のルータ...

本記事は GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning の解説記事です。 論文概要（Abstract） LLMエージェントの急速な発展に伴い、エージェントが実行するアクションの安全性を保証する課題が浮上している。著者らはGuardAgentを提案し、ターゲットエージェント...

本記事は AIOS: LLM Agent Operating System の解説記事です。 論文概要（Abstract） AIOSは、LLMベースのエージェントをOSのプロセスに見立て、スケジューリング・コンテキスト管理・メモリ管理・ストレージ管理・アクセス制御といったカーネルレベルの機能を提供するアーキテクチャである。著者らは、従来のエージェントフレームワークではLLMリソースの独占...

論文概要（Abstract） LLMで複雑なタスクを処理する際、長大なプロンプトがメモリ使用量・推論コスト・レイテンシの増大を引き起こす。本サーベイ論文は、プロンプト圧縮手法をHard Prompt Methods（自然言語テキストの直接操作）とSoft Prompt Methods（学習された連続ベクトル表現への変換）に体系化し、Attention最適化・PEFT・マルチモーダル統合・合...

論文概要 本記事はLongLLMLingua（arXiv: 2310.06839）の解説記事です。 LongLLMLinguaは、長いコンテキストを扱うLLMのプロンプト圧縮手法であり、ACL 2024に採択されています。質問条件付きパープレキシティによる粗粒度圧縮、コントラスティブパープレキシティによる細粒度圧縮、ドキュメント再配置、動的圧縮比率の4つのコンポーネントで構成されます。著...

本記事は https://arxiv.org/abs/2407.16833 の解説記事です。 論文概要 Retrieval Augmented Generation（RAG）とLong-Context（LC）LLMは、大量のテキストを処理するための二大アプローチとして知られる。著者らは、9つのデータセット・3つのモデル・2つのリトリーバーを用いた包括的ベンチマークにより、両者の性能差を体...

論文概要（Abstract） 本記事は Many-Shot In-Context Learning（arXiv: 2404.11018）の解説記事です。 著者らは、Gemini 1.5 Proの100万トークンコンテキストウィンドウを活用し、数百から数千のデモンストレーション例をプロンプトに含めるMany-Shot In-Context Learningを提案している。機械翻訳、要約、計...

本記事は AgentScope: A Flexible yet Robust Multi-Agent Platform の解説記事です。 論文概要（Abstract） AgentScopeは、LLMを活用したマルチエージェントアプリケーションの開発と運用を簡素化するために設計された、開発者中心のプラットフォームである。著者らは、メッセージ交換を中核的な通信機構とし、組み込みエージェント・...

本記事は https://proceedings.mlr.press/v267/li25dv.html の解説記事です。 論文概要 LaRA（Benchmarking Retrieval-Augmented Generation and Long-Context LLMs）は、RAG（Retrieval-Augmented Generation）とLC（Long-Context）LLMの...