本記事は Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (arXiv:2408.03314) の解説記事です。 論文概要（Abstract） この研究は、LLMの推論時（test-time）に追加の計算量を投入することで性能を向上させる手法を体系的に分...

本記事は GenMol: A Drug Discovery Generalist with Discrete Diffusion（Lee et al., ICML 2025）の解説記事です。 論文概要（Abstract） GenMolは、NVIDIAが開発した離散拡散モデルベースの汎用分子生成フレームワークである。SAFE（Sequential Attachment-based Frag...

本記事は The Isomorphic Labs Drug Design Engine unlocks a new frontier beyond AlphaFold（Isomorphic Labs, 2026年2月）の解説記事です。 ブログ概要（Summary） IsoDDE（Isomorphic Labs Drug Design Engine）は、2026年2月にIsomorphic...

本記事は arXiv:2512.15745 “LLaDA2.0: Scaling Up Diffusion Language Models to 100B” の解説記事です。 論文概要（Abstract） LLaDA 2.0は、Ant GroupのInclusionAIチームが2025年12月に発表した拡散言語モデルである。著者らは、事前学習済みの自己回帰（AR）モデルをマスク拡散モデル...

本記事は DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models (arXiv:2401.06066) の解説記事です。 論文概要（Abstract） DeepSeekMoEは、MoEアーキテクチャにおけるエキスパートの専門化（specialization）を極限ま...

本記事は ACL 2024: Improving Text Embeddings with Large Language Models（arXiv: 2401.00368）の解説記事です。 論文概要（Abstract） Wang et al.（Microsoft Research）は、GPT-4を用いて93言語・数百種類の埋め込みタスクに対応する合成データを生成し、デコーダー専用LLM（...

本記事は Accurate structure prediction of biomolecular interactions with AlphaFold 3（Abramson et al., Nature, 2024）の解説記事です。 論文概要（Abstract） AlphaFold3（AF3）は、タンパク質だけでなくDNA、RNA、低分子リガンド、イオン、修飾残基を含む生体分子複合...

本記事は arXiv:2502.09992 “Large Language Diffusion Models” の解説記事です。 論文概要（Abstract） LLaDA（Large Language Diffusion with mAsking）は、マスク拡散フレームワークに基づく大規模言語モデルである。著者らは、前方過程でテキストトークンをランダムにマスクし、逆過程でTransfor...

本記事は DeepSeek-V3 Technical Report (arXiv:2412.19437) の解説記事です。 論文概要（Abstract） DeepSeek-V3は、DeepSeek-AIが2024年12月に公開したMixture-of-Experts（MoE）言語モデルである。総パラメータ数671B、トークンあたりのアクティブパラメータ数37Bという構成で、オープンソース...

本記事は arXiv:2402.16829 GISTEmbed の解説記事です。 論文概要（Abstract） GISTEmbedは、テキスト埋め込みのコントラスト学習において、ガイドモデルを用いてバッチ内ネガティブサンプルから偽ネガティブ（false negative）を除去する手法である。著者らは、既存の学習済み埋め込みモデルをガイドとして再利用し、追加のハードネガティブマイニングな...