本記事は arXiv:2509.24389 “LLaDA-MoE” の解説記事です。 論文概要（Abstract） LLaDA-MoE は、マスク拡散言語モデル LLaDA に Sparse Mixture-of-Experts（MoE）アーキテクチャを統合した研究である。著者らは、Transformer の FFN 層を Sparse MoE 層に置換し、7B の総パラメータ中わずか ...

本記事は ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing (arXiv:2412.14711) の解説記事です。ICLR 2025に採択されている。 論文概要（Abstract） ReMoEは、従来のTopK+SoftmaxルーティングをReLUベースのルーティングに置き換えることで、MoEアーキテクチャの...

本記事は FlowDock: Geometric Flow Matching for Generative Protein-Ligand Docking and Affinity Prediction（Morehead & Cheng, 2024）の解説記事です。 論文概要（Abstract） FlowDockは、条件付きフローマッチング（Conditional Flow Mat...

本記事は arXiv:2205.13147 Matryoshka Representation Learning（NeurIPS 2022採択）の解説記事です。 論文概要（Abstract） Kusupati et al.（University of Washington, Google）は、単一の埋め込みモデルから可変サイズの表現を生成するMatryoshka Representati...

本記事は AWS Machine Learning Blog: Fine-tune a BGE embedding model using synthetic data from Amazon Bedrock（2024年10月23日公開）の解説記事です。 ブログ概要（Summary） AWSのMachine Learning Blogで公開された本記事は、Amazon Bedrockを用...

本記事は arXiv:2506.17298 “Mercury: Ultra-Fast Language Models Based on Diffusion” の解説記事です。 論文概要（Abstract） Mercury は、Inception Labs が開発した商用拡散言語モデルであり、自己回帰（AR）モデルと比較して推論速度を大幅に高速化することを目的としている。著者らは、マスク拡...

本記事は Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (arXiv:2408.03314) の解説記事です。 論文概要（Abstract） この研究は、LLMの推論時（test-time）に追加の計算量を投入することで性能を向上させる手法を体系的に分...

本記事は GenMol: A Drug Discovery Generalist with Discrete Diffusion（Lee et al., ICML 2025）の解説記事です。 論文概要（Abstract） GenMolは、NVIDIAが開発した離散拡散モデルベースの汎用分子生成フレームワークである。SAFE（Sequential Attachment-based Frag...

本記事は The Isomorphic Labs Drug Design Engine unlocks a new frontier beyond AlphaFold（Isomorphic Labs, 2026年2月）の解説記事です。 ブログ概要（Summary） IsoDDE（Isomorphic Labs Drug Design Engine）は、2026年2月にIsomorphic...

本記事は arXiv:2512.15745 “LLaDA2.0: Scaling Up Diffusion Language Models to 100B” の解説記事です。 論文概要（Abstract） LLaDA 2.0は、Ant GroupのInclusionAIチームが2025年12月に発表した拡散言語モデルである。著者らは、事前学習済みの自己回帰（AR）モデルをマスク拡散モデル...