- 📄 論文解説: Llumnix - LLMサービングのための動的スケジューリングとライブマイグレーション
- ✍️ Meta Engineering解説: LLM推論スケーリングにおけるテンソル・コンテキスト・エキスパート並列化
- 📄 論文解説: PowerInfer - コンシューマGPUでの高速LLM推論エンジン
- 📄 論文解説: DistServe - Prefill/Decode分離によるLLMサービングのGoodput最適化
- 📄 論文解説: Efficient Memory Management for Large Language Model Serving with PagedAttention
本記事は RAGO: Systematic Performance Optimization for Retrieval-Augmented Generation Serving (arXiv:2503.14649, ISCA 2025) の解説記事です。 論文概要(Abstract) RAGO(Retrieval-Augmented Generation Optimizer)は、RAG...