本記事は Delivering Massive Performance Leaps for Mixture of Experts Inference on NVIDIA Blackwell (NVIDIA Developer Blog, 2026-01-08) の解説記事です。 ブログ概要(Summary) NVIDIAが2026年1月に公開したこのテックブログは、Blackwellアー...
本記事は NVIDIA Technical Blog: Boost Embedding Model Accuracy for Custom Information Retrieval(2025年6月25日公開)の解説記事です。 ブログ概要(Summary) NVIDIAのTechnical Blogで公開された本記事は、会話型AIアナリティクスプラットフォーム「Coxwave Align...
本記事は arXiv:2508.10875 “A Survey on Diffusion Language Models” の解説記事です。 論文概要(Abstract) 本サーベイ論文は、VILA Lab(Georgia Tech)のチームが2025年8月に発表した拡散言語モデル(Diffusion Language Model, DLM)の包括的な調査である。著者らは、テキスト生成に...
本記事は Diffusion Models in De Novo Drug Design(Alakhdar, Poczos & Washburn, Journal of Chemical Information and Modeling, 2024)の解説記事です。 論文概要(Abstract) 本論文は、de novo創薬における拡散モデルの適用を体系的にレビューしたサーベイ論...
本記事は arXiv:2509.24389 “LLaDA-MoE” の解説記事です。 論文概要(Abstract) LLaDA-MoE は、マスク拡散言語モデル LLaDA に Sparse Mixture-of-Experts(MoE)アーキテクチャを統合した研究である。著者らは、Transformer の FFN 層を Sparse MoE 層に置換し、7B の総パラメータ中わずか ...
本記事は ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing (arXiv:2412.14711) の解説記事です。ICLR 2025に採択されている。 論文概要(Abstract) ReMoEは、従来のTopK+SoftmaxルーティングをReLUベースのルーティングに置き換えることで、MoEアーキテクチャの...
本記事は FlowDock: Geometric Flow Matching for Generative Protein-Ligand Docking and Affinity Prediction(Morehead & Cheng, 2024)の解説記事です。 論文概要(Abstract) FlowDockは、条件付きフローマッチング(Conditional Flow Mat...
本記事は arXiv:2205.13147 Matryoshka Representation Learning(NeurIPS 2022採択)の解説記事です。 論文概要(Abstract) Kusupati et al.(University of Washington, Google)は、単一の埋め込みモデルから可変サイズの表現を生成するMatryoshka Representati...
本記事は AWS Machine Learning Blog: Fine-tune a BGE embedding model using synthetic data from Amazon Bedrock(2024年10月23日公開)の解説記事です。 ブログ概要(Summary) AWSのMachine Learning Blogで公開された本記事は、Amazon Bedrockを用...
本記事は arXiv:2506.17298 “Mercury: Ultra-Fast Language Models Based on Diffusion” の解説記事です。 論文概要(Abstract) Mercury は、Inception Labs が開発した商用拡散言語モデルであり、自己回帰(AR)モデルと比較して推論速度を大幅に高速化することを目的としている。著者らは、マスク拡...