==> 1 ok
==> 2 ok
==> 3 ok
==> 4 ok
==> 5 ok
==> 6 ok
==> 7 ok
==> 8 ok
==> 9 ok
==> 10 ok
==> 11 ok
==> 12 ok
==> 13 ok
==> 14 ok
==> 15 ok
==> 16 ok
==> 17 ok
==> 18 ok
==> 19 ok
==> 20 ok
==> 21 ok
==> 22 ok
==> 23 ok
==> 24 ok
==> 25 ok
==> 26 ok
==> 27 ok
==> 28 ok
==> 29 ok
==> 30 ok
==> 31 ok
==> 32 ok
==> 33 ok
==> 34 ok
==> 35 ok
==> 36 ok
==> 37 ok
==> 38 ok
==> 39 ok
==> 40 ok
==> 41 ok
==> 42 ok
==> 43 ok
==> 44 ok
==> 45 ok
==> 46 ok
==> 47 ok
==> 48 ok
==> 49 ok
==> 50 ok
==> 1 ok
==> 2 ok
==> 3 ok
==> 4 ok
==> 5 ok
==> 6 ok
==> 7 ok
==> 8 ok
==> 9 ok
==> 10 ok
==> 11 ok
==> 12 ok
==> 13 ok
==> 14 ok
==> 15 ok
==> 16 ok
==> 17 ok
==> 18 ok
==> 19 ok
==> 20 ok
==> 21 ok
==> 22 ok
==> 23 ok
==> 24 ok
==> 25 ok
==> 26 ok
==> 27 ok
==> 28 ok
==> 29 ok
==> 30 ok
==> 31 ok
==> 32 ok
==> 33 ok
==> 34 ok
==> 35 ok
==> 36 ok
==> 37 ok
==> 38 ok
==> 39 ok
==> 40 ok
==> 41 ok
==> 42 ok
==> 43 ok
==> 44 ok
==> 45 ok
==> 46 ok
==> 47 ok
==> 48 ok
==> 49 ok
==> 50 ok
本站 2 月 24 日消息，月之暗面 Kimi 昨日发布了“Muon 可扩展用于 LLM 训练”的新技术报告，并宣布推出“Moonlight”：一个在 Muon 上训练的 30 亿 / 160 亿参数混合专家模型（MoE）。使用了 5.7 万亿个 token，在更低的浮点运算次数（FLOPs）下实现了更好的性能，从而提升了帕累托效率边界。
月之暗面称，团队发现 Muon 优化器可通过添加权重衰减、仔细调整每个参数的更新幅度等技术进行扩展，并具备如下亮点：
这些技术使得 Muon 能够在大规模训练中开箱即用，无需进行超参数调优。扩展法则实验表明，与计算最优训练的 AdamW 相比，Muon 实现了约 2 倍的计算效率。
本次论文所使用的模型为 Moonlight-16B-A3B，总参数量为 15.29B，激活参数为 2.24B，其使用 Muon 优化器，在 5.7T Tokens 的训练数据下获得上述成绩。
我们的模型不仅突破了当前的 Pareto 前沿，还在训练所需的 FLOP 数大幅减少的情况下，达到了比以往模型更优的性能。
我们开源了一个分布式版本的 Muon 实现，它在内存使用和通信效率上都进行了优化。同时，我们也发布了预训练模型、经过指令调优的模型以及中间训练检查点，旨在为未来的研究提供支持。
本站附有关链接如下：
GitHub：点此前往
Hugging Face ：点此前往
