字:
关灯 护眼
优秀小说 > 科研系学霸 > 第67章 Q&A

第67章 Q&A

    第67章 Q&A (第3/3页)

  这就是为什么周昀在一开始要学习数学的原因了,一个良好的数学功底,真的能在很多时候帮忙解决一些关键性的问题。

    周昀看了眼时间,应该够了。

    他用电脑创建了一个白板,然后开始用鼠标作画,虽然有点抽象,但是配合他的讲解,也算能勉强看的懂。

    “首先,我们将‘被压缩的AI模型’与‘负责调教的AI元模型’之间的关系,形式化为一个非零和合作博弈。

    ‘被压缩的AI模型’选择一组模型参数θ目标是在给定的压缩约束下最小化任务损失函数 L_task(θ),

    而‘负责调教的AI元模型’选择一种压缩策略φ,目标是最小化一个元损失函数 L_meta(φ,θ),

    这样就能得到一个组合的惩罚项,也就是一般模型里的损失函数L_meta(φ,θ)= L_task(θ')+λ* R(φ),

    我们并不追求一个无限递归的最优,而是试图找到一个平衡,这正是一个纳什均衡点的概念。

    之后我设计了一个交替优化算法来逼近这个均衡点,其迭代过程可以假设地抽象为一个映射T:(θ_k,φ_k)->(θ_{k+1},φ_{k+1})

    ......

    经过以上的过程,我们就可以证明T确实是压缩映射,根据Banach不动点定理,

    这个映射就存在唯一的不动点,并且无论从任何初始点开始迭代,

    该算法都会以线性收敛速度全局收敛到这个唯一的不动点(θ*,φ*)。

    而这个不动点正是我们寻求的纳什均衡。”

    其实说到一半的时候大部分人就已经跟不上周昀的思路了,毕竟不是数学系的,

    对于这种数学证明,大部分人都不是特别擅长,更别说周昀这个证明也没那么简单。

    不过何凯明倒是能跟得上,毕竟他在从事计算机的研究之前,是水木大学物理系的学生,数学功底也会强一点。

    周昀说完,再次向何凯明微微点头示意:“不知道这个解释是否回答了您的问题?”
『加入书签,方便阅读』