本記事は DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models (arXiv:2401.06066) の解説記事です。 論文概要（Abstract） DeepSeekMoEは、MoEアーキテクチャにおけるエキスパートの専門化（specialization）を極限ま...

本記事は ACL 2024: Improving Text Embeddings with Large Language Models（arXiv: 2401.00368）の解説記事です。 論文概要（Abstract） Wang et al.（Microsoft Research）は、GPT-4を用いて93言語・数百種類の埋め込みタスクに対応する合成データを生成し、デコーダー専用LLM（...

本記事は Accurate structure prediction of biomolecular interactions with AlphaFold 3（Abramson et al., Nature, 2024）の解説記事です。 論文概要（Abstract） AlphaFold3（AF3）は、タンパク質だけでなくDNA、RNA、低分子リガンド、イオン、修飾残基を含む生体分子複合...

本記事は arXiv:2502.09992 “Large Language Diffusion Models” の解説記事です。 論文概要（Abstract） LLaDA（Large Language Diffusion with mAsking）は、マスク拡散フレームワークに基づく大規模言語モデルである。著者らは、前方過程でテキストトークンをランダムにマスクし、逆過程でTransfor...

本記事は DeepSeek-V3 Technical Report (arXiv:2412.19437) の解説記事です。 論文概要（Abstract） DeepSeek-V3は、DeepSeek-AIが2024年12月に公開したMixture-of-Experts（MoE）言語モデルである。総パラメータ数671B、トークンあたりのアクティブパラメータ数37Bという構成で、オープンソース...

本記事は arXiv:2402.16829 GISTEmbed の解説記事です。 論文概要（Abstract） GISTEmbedは、テキスト埋め込みのコントラスト学習において、ガイドモデルを用いてバッチ内ネガティブサンプルから偽ネガティブ（false negative）を除去する手法である。著者らは、既存の学習済み埋め込みモデルをガイドとして再利用し、追加のハードネガティブマイニングな...

本記事は AWS Bedrock AgentCore SRE Agent の技術解説記事です。 ブログ概要（Summary） Amazon Bedrock AgentCoreのSREエージェントは、AWSが公開するオープンソースのリファレンス実装であり、LangGraphフレームワークを用いたSupervisor＋4専門エージェント（Kubernetes Agent、Metrics Ag...

本記事は Microsoft Research AIOpsLab の技術解説記事です。 ブログ概要（Summary） AIOpsLabは、Microsoft Researchが開発したAIOps（Artificial Intelligence for IT Operations）手法の標準化されたベンチマーク評価フレームワークである。クラウドインシデント対応を自動化するAIエージェントを...

本記事は arXiv:2410.17033 “ARES: Automated Root-cause Extraction and Synthesis for Cloud Incidents” の解説記事です。 論文概要（Abstract） ARESは、IBM Researchが提案するエージェント型クラウドインシデント自動対応システムである。SRE Manager Agent、Monit...

本記事は arXiv:2411.04536 “A Multi-Agent Approach for Self-Healing in Cloud Computing Environments” の解説記事です。 論文概要（Abstract） 本論文は、クラウドコンピューティング環境における自己修復（Self-Healing）を実現する4層階層型マルチエージェントシステム（MAS）を提案して...