本記事は LLM Inference Serving: Survey of Recent Advances and Opportunities の解説記事です。 論文概要（Abstract） 本サーベイは、2023年1月から2024年6月にかけて発表されたLLM推論サービングシステムの研究を体系的に整理したものである。著者らは、LLMのコアデコーディング機構を変更せずにパフォーマンスと効...

本記事は Scaling LLMs with NVIDIA Triton and NVIDIA TensorRT-LLM Using Kubernetes の解説記事です。2024年10月22日公開。 ブログ概要（Summary） NVIDIA Developer Blogの本記事では、TensorRT-LLMによるモデル最適化、Triton Inference Serverによる推論サ...

NVIDIA AI Red Team解説: LLMアプリケーション3大脆弱性と実践的防御策 本記事は Practical LLM Security Advice from the NVIDIA AI Red Team の解説記事です。 ブログ概要 NVIDIAのAI Red Teamが数十のAIアプリケーションを実際に評価する中で特定した、LLMアプリケーションに共通する 3つの重大な...

本記事は vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention の解説記事です。 論文概要 vAttentionは、LLM推論サービングにおけるKVキャッシュのメモリ管理を根本から再設計した手法である。従来のPagedAttentionがKVキャッシュの仮想メモリ上の連続性を犠牲にして物...

本記事は A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency の解説記事です。 論文概要 本サーベイは、25種のオープンソースおよび商用LLM推論エンジンを、使いやすさ・デプロイ容易性・汎用性・スケーラビリティ・スループット志向・レイテンシ...

本記事は BeLLMan: Controlling LLM Congestion の解説記事です。 論文概要（Abstract） LLMアプリケーションはインフラストラクチャの負荷状態に関知せず、自己回帰的にトークンを生成し続ける。これにより、高負荷時に推論レイテンシが増大し、ユーザー体験が悪化する。著者らは、LLMインフラからアプリケーションに対して負荷状況をシグナリングし、出力長を動...

本記事は Universal Model Routing for Efficient LLM Inference の解説記事です。 論文概要（Abstract） モデルルーティングは、LLMプールを維持し、各プロンプトを最小コストで処理可能なLLMにルーティングすることで推論コストを削減する手法である。著者らは、テスト時に未知のLLMが利用可能になる動的な環境に対応するため、各LLMを代...

本記事は RouteBalance: Fused Model Routing and Load Balancing for Heterogeneous LLM Serving の解説記事です。 論文概要（Abstract） 異種LLMサービング環境では、モデルルーティング（品質・コスト基準でモデルを選択）と負荷分散（キュー長基準でインスタンスを選択）が2つの独立した層で動作している。著者...

本記事は AI gateway capabilities in Azure API Management (Microsoft Learn) の解説記事です。最終更新日: 2026年5月29日。 ブログ概要（Summary） Azure API Management（APIM）のAI Gatewayは、LLMのAPI管理に特化した機能群である。Microsoft公式ドキュメントによると、...

ブログ概要 本記事は NVIDIA Developer Blog: “Boosting Q&A Accuracy with GraphRAG Using PyG and Graph Databases”（2025年3月26日公開、Brian Shi, Alfred Clemedtson, Zach Blumenfeld, Rishi Puri 著）の解説記事です。 NVIDIAの...