http://yunpengtai.top/tags/adam/ Recent content in adam on Tai's Blog http://yunpengtai.top/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E http://yunpengtai.top/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E Hugo -- gohugo.io en Tue, 03 Jun 2025 22:30:00 +0800 http://yunpengtai.top/posts/muon/ Tue, 03 Jun 2025 22:30:00 +0800 http://yunpengtai.top/posts/muon/ 本文将主要涵盖以下内容： 从理论角度推导 Muon 优化器，介绍其「控制谱范数下的最速下降」的特性，主要在 Bernstein 的博客 https://jeremybernste.in/writing/deriving-muon 的基础上进行延伸。值得注意的是，推导