本記事は DeepSeek-V3 Technical Report (arXiv:2412.19437) の解説記事です。 論文概要（Abstract） DeepSeek-V3は671Bの総パラメータ数に対し37Bのみを活性化するMoE型言語モデルである。著者らは、DeepSeek-V2で提案されたMLAとDeepSeekMoEを継承しつつ、FP8混合精度学習、Multi-Token P...

本記事は Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation（Zhang et al., ICCV 2019）の解説記事です。 論文概要（Abstract） 本論文は、Self-Distillation（自己蒸留）の概念を初めて体系的に提案し...

本記事は Methods of improving LLM training stability (arXiv:2410.16682) の解説記事です。 論文概要（Abstract） 大規模言語モデルの学習において、ロスのスパイク（急増）や勾配の発散は深刻な問題である。本論文の著者らは、QK-Norm、RMSNorm、logit softcapping、embedding normali...

本記事は arXiv:2310.11511 “Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection” の解説記事です。 論文概要（Abstract） Retrieval-Augmented Generation（RAG）は外部知識を利用して事実性を向上させるが、従来のRAGは入力に関係...

本記事は arXiv:2307.08691 “FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning” の解説記事です。 論文概要（Abstract） Tri Dao（Princeton/Together AI）は、FlashAttention v1のGPU利用率を25-40%から5...

本記事は arXiv:2305.14314 “QLoRA: Efficient Finetuning of Quantized Large Language Models” の解説記事です。 論文概要（Abstract） Dettmers et al.は、凍結された4bit量子化言語モデルに対してLoRA（Low-Rank Adapter）の勾配を逆伝播するQLoRAを提案した。著者らの...

本記事は Self-Distilled Self-Supervised Representation Learning（Jang et al., WACV 2023）の解説記事です。 論文概要（Abstract） SDSSL（Self-Distilled Self-Supervised Learning）は、自己教師あり学習（SSL）の表現品質を隠れ層への自己蒸留により向上させる手法であ...

本記事は NVIDIA Developer Blog: “Optimizing llama.cpp AI Inference with CUDA Graphs” の解説記事です。 ブログ概要（Summary） NVIDIAは、llama.cppにCUDA Graphs最適化を実装することで、Llama 7BモデルのH100 GPU上でのデコード推論速度を最大1.2倍高速化したと報告してい...

本記事は arXiv:2307.08691 “FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning” の解説記事です。 論文概要（Abstract） TransformerのスケーリングにおいてAttention計算は主要なボトルネックである。FlashAttention（Dao ...

本記事は GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (arXiv:2305.13245) の解説記事です。 論文概要（Abstract） Grouped-Query Attention（GQA）は、Multi-Head Attention（MHA）とMulti-...