本記事は ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models（Xu et al., 2023）の解説記事です。 論文概要（Abstract） ReWOO（Reasoning WithOut Observation）は、Augmented Language Model（A...

本記事は https://arxiv.org/abs/2501.07902 の解説記事です。 論文概要（Abstract） Kumarらは、LLMを用いた自動コードレビューに関する系統的文献レビュー（Systematic Literature Review; SLR）を実施し、2020年から2024年にかけて発表された87本の論文を分析した。主要な発見として、（1）ドメイン特化データによ...

本記事は https://arxiv.org/abs/2502.17505 の解説記事です。 論文概要（Abstract） SWE-LoRA は、実世界のソフトウェアエンジニアリング（SE）タスクを小規模言語モデルで解決するための手法である。Claude 3.5 Sonnet のようなフロンティアモデルは SWE-bench で高い性能を示す一方、推論コストが実運用の障壁となっている。著...

本記事は https://arxiv.org/abs/2502.20894 の解説記事です。 論文概要（Abstract） MoELoRAは、パラメータ効率的ファインチューニング（PEFT）手法であるLoRAに対して、Mixture-of-Experts（MoE）フレームワークを統合した手法である。従来のLoRAが各重み行列に対して単一のlow-rank分解を適用するのに対し、MoELo...

論文概要（Abstract） 本記事は https://arxiv.org/abs/2402.00367 の解説記事です。 Mixture-of-Experts（MoE）モデルは近年のLLM開発において有力なアーキテクチャとして注目されているが、パラメータ数の膨大さからフルファインチューニングが困難である。本論文では、MoEモデルのexpert層のみにLoRAアダプタを適用するMoE-L...

本記事は https://arxiv.org/abs/2504.12687 の解説記事です。 論文概要（Abstract） 大規模言語モデル（LLM）をコード生成タスクにファインチューニングするには、大量かつ高品質な学習データが必要となる。しかし、データの希少性や収集コストの高さが現実的な課題として存在する。本論文では、学習データ量を削減しつつモデル性能を維持・向上させるデータ効率的なフ...

本記事は arXiv:2603.15957 “GASP: Guided Asymmetric Self-Play for Continued Improvement of LLMs”（Song et al.、2025年3月）の解説記事です。 論文概要（Abstract） GASP（Guided Asymmetric Self-Play）は、外部の強力な教師モデル（Teacher）を用いて...

本記事は https://arxiv.org/abs/2309.02427 の解説記事です。 論文概要（Abstract） CoALA（Cognitive Architectures for Language Agents）は、認知科学における認知アーキテクチャの知見をLLMベースのエージェントに適用し、情報記憶（Memory）、行動空間（Action Space）、意思決定手続き（De...

本記事は arXiv:2504.19162 “SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning”（Chen, Liu、2025年4月）の解説記事です。 論文概要（Abstract） SPC（Self-Play Critic）は、LLMの推論能力を強化するために、批評者（Critic）と生成器（Ge...

本記事は https://arxiv.org/abs/2304.03442 の解説記事です。 論文概要（Abstract） Generative Agentsは、大規模言語モデル（LLM）を拡張し、自然言語による経験の完全な記録・高次の反省（Reflection）への統合・動的な記憶検索を通じて、人間的な行動をシミュレートする計算エージェントである。著者らは25体のエージェントが暮らすサ...