論文概要（Abstract） RouteLLMは、人間の選好データ（Chatbot Arena等）を活用してLLMルーターを訓練するフレームワークです。強モデル（GPT-4）と弱モデル（GPT-3.5-turbo）の間でクエリを動的に振り分けることで、GPT-4単独利用と比較してコストを85%以上削減しつつ、応答品質の95%を維持することに成功しています。4種類のルーターモデル（類似度加重...

ブログ概要（Summary） NVIDIAが公開した技術ブログでは、2023年初頭以降のフロンティアAIモデルにおけるMixture of Experts（MoE）アーキテクチャの急速な普及と、NVIDIA Blackwell NVL72プラットフォームにおける推論最適化について詳細に解説している。2025年時点でオープンソースAIモデルリリースの60%以上がMoEを採用し、Artific...

ブログ概要（Summary） Google DeepMindのGemmaverseページおよびSwallow LLMプロジェクトの公式サイトでは、科学大学（旧東京工業大学）岡崎研究室・横田研究室と産業技術総合研究所（AIST）が共同開発したGemma-2-Llama Swallowの技術詳細が公開されている。本モデルはGemma 2をベースに日本語データで継続事前学習を行い、2B/9B/2...

論文概要（Abstract） Moonshineは、Useful Sensorsが開発したエッジデバイス向けの音声認識（ASR）モデルです。Whisperと同等の精度を維持しつつ、短い発話に対して最大5倍の推論高速化を実現しました。鍵となる技術は可変長エンコーダで、Whisperが全入力を30秒チャンクにゼロパディングする非効率を排除し、実際の音声長に計算量を比例させます。Tiny（27M...

論文概要（Abstract） 「When Better Prompts Hurt: Evaluation-Driven Iteration for LLM Applications」（2025年1月、arXiv:2601.22025）は、LLMのプロンプトエンジニアリングにおける体系的な評価方法論の欠如がもたらす問題に取り組む論文です。直感的に「改善」と思える変更（Chain-of-Tho...

論文概要（Abstract） 本論文は、ベクトルデータベース管理システム（Vector DBMS）を体系的にサーベイした包括的な研究です。近年のLLM・RAGパイプラインの普及に伴い急増するベクトル検索需要に対し、ストレージ管理・インデックス構造・クエリ処理・システムアーキテクチャの4軸で主要なベクトルDBを分類・比較しています。pgvector、Milvus、Qdrant、Pinecon...

論文概要（Abstract） TextGradは、LLMを基盤とした任意の計算グラフに対して「テキストによる自動微分」を実装するフレームワークである。PyTorchがテンソルと自動微分を提供するのと同様に、TextGradはパイプライン内のあらゆる成果物（コード、テキスト、分子構造等）を表現するVariable抽象を提供し、LLMフィードバックによる自動微分をサポートする。ラベルデータ不要...

ブログ概要（Summary） LaunchDarkly AI Configsは、LLMアプリケーションにおけるモデル設定・プロンプト・ツール定義をランタイムに制御するための機能である。コードデプロイなしでモデル切り替え・プロンプト更新・段階的ロールアウト（5%→25%→100%）を実現し、ユーザーセグメント別のターゲティング・メトリクスベースの実験を可能にする。Completion Mod...

ブログ概要（Summary） Langfuseは、LLMアプリケーションのためのOSS（MITライセンス）オブザーバビリティ・評価基盤である。プロンプトのバージョン管理・ラベルベースのA/Bテスト・リアルタイムトレーシング・自動評価を統合的に提供する。GitHub Stars 19,000超、Y Combinator W23出身で、OpenTelemetry・LangChain・OpenA...

論文概要（Abstract） OPRO（Optimization by PROmpting）は、LLMをオプティマイザとして活用し、自然言語で記述された最適化タスクを解くフレームワークである。各最適化ステップでLLMは過去の解とスコアを含むメタプロンプトから新しい解を生成し、評価して軌跡に追加する。プロンプト最適化への応用で、人手設計プロンプトをGSM8Kで最大+8.4%、Big-Benc...