本記事は MemGPT: Towards LLMs as Operating Systems の解説記事です。 論文概要（Abstract） LLMは限られたコンテキストウィンドウにより、長期会話やドキュメント解析でのユーティリティが制約される。著者らは、従来のOSにおける階層的メモリシステムからの着想を得て「仮想コンテキスト管理（virtual context management）」...

本記事は PromptPex: Automatic Test Generation for Language Model Prompts の解説記事です。 論文概要（Abstract） プロンプトはLLMアプリケーションにおいて従来のソースコードに相当する役割を果たすが、その品質検証のための体系的なテスト手法は確立されていない。Sharma et al.（Microsoft Resear...

本記事は A Survey of Context Engineering for Large Language Models の解説記事です。 論文概要（Abstract） Mei et al.は、コンテキストエンジニアリング（Context Engineering）をプロンプトエンジニアリングの上位概念として定式化し、LLM推論時に提供される情報ペイロード全体の体系的な最適化として位置...

本記事は When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications の解説記事です。 論文概要（Abstract） 「プロンプトを改善すれば性能は上がる」という直感に反する現象を実証した論文である。著者Commeyは、汎用的なプロンプト改善（helpful assista...

本記事は A Systematic Approach for Large Language Models Debugging の解説記事です。 論文概要（Abstract） LLMのデバッグは、出力が確率的であり動作が不透明であるため、従来のソフトウェアデバッグとは本質的に異なる課題を抱えている。Shbita et al.は、LLMを「観測可能なシステム（observable syste...

本記事は A Taxonomy of Prompt Defects in LLM Systems の解説記事です。 論文概要（Abstract） プロンプトはLLMの事実上のプログラミングインターフェースとして機能するが、その設計は依然として経験的な試行錯誤に依存している。Tian et al.は、プロンプトがどのように意図した動作からの逸脱（欠陥）を生じるかを体系的に調査し、6つの次元...

本記事は Halo: Batched Query Processing for LLM-based Agentic Workflows（arXiv:2509.02121）の解説記事です。 論文概要（Abstract） Haloは、LLMベースのエージェントワークフローにおけるバッチクエリ処理を最適化するシステムである。エージェントワークフローを構造化されたクエリプランDAG（有向非巡回グ...

論文概要 H₂O（Heavy-Hitter Oracle）は、LLMの推論時に発生するKVキャッシュのメモリ消費問題に対し、少数のトークン（Heavy Hitters）がアテンションスコアの大部分を占めるという経験的観察に基づく動的エビクション手法を提案した論文である。著者らは、累積アテンションスコアが冪乗則（power-law）に従うことを発見し、Heavy Hitterトークンと直近ト...

本記事は DynTaskMAS: A Dynamic Task Graph-driven Framework for Asynchronous and Parallel LLM-based Multi-Agent Systems（arXiv:2503.07675、ICAPS 2025採択）の解説記事です。 論文概要（Abstract） DynTaskMASは、LLMベースのマルチエージェ...

本記事は PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling の解説記事です。 論文概要（Abstract） PyramidKVは、LLMの各層におけるアテンション分布パターン（Pyramidal Information Funneling）の観察に基づき、KVキャッシュを動的に...